[논문 리뷰] What's a good imputation to predict with missing values?

Marine Le Morvan, Julie Josse외 2명|arXiv (Cornell University)|2021. 06. 01.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 22

한 줄 요약

이 논문은 임의의 결측 데이터 메커니즘과 거의 모든 착수 함수에 대해, 착수한 후에 회귀 분석을 수행하는 절차가 점점 더 베이지 최적임을 입증하며, 조건부 기대값 착수의 필요성을 도전한다. 이는 결측이 무시할 수 없는 경우에도 특히 효과적인 통합 착수 및 회귀를 위한 미분 가능한 신경망인 NeuMiss를 제안한다. 유한 표본 실험에서 기존의 이단계 방법보다 뛰어난 성능을 보였다.

ABSTRACT

How to learn a good predictor on data with missing values? Most efforts focus on first imputing as well as possible and second learning on the completed data to predict the outcome. Yet, this widespread practice has no theoretical grounding. Here we show that for almost all imputation functions, an impute-then-regress procedure with a powerful learner is Bayes optimal. This result holds for all missing-values mechanisms, in contrast with the classic statistical results that require missing-at-random settings to use imputation in probabilistic modeling. Moreover, it implies that perfect conditional imputation is not needed for good prediction asymptotically. In fact, we show that on perfectly imputed data the best regression function will generally be discontinuous, which makes it hard to learn. Crafting instead the imputation so as to leave the regression function unchanged simply shifts the problem to learning discontinuous imputations. Rather, we suggest that it is easier to learn imputation and regression jointly. We propose such a procedure, adapting NeuMiss, a neural network capturing the conditional links across observed and unobserved variables whatever the missing-value pattern. Experiments confirm that joint imputation and regression through NeuMiss is better than various two step procedures in our experiments with finite number of samples.

연구 동기 및 목표

• 결측값을 예측하기 전에 착수하는 광범위한 관행에 대한 이론적 근거를 제공하는 것.
• 일반적인 결측 메커니즘 하에서 조건부 기대값 착수 방식이 최적의 예측을 위해 필수적인지 조사하는 것.
• 특히 최적의 회귀 함수가 비연속성이 되는 경우에 착수와 회귀 간의 괴리 문제를 해결하는 것.
• 착수와 회귀를 상호로 적응시키는 통합 학습 프레임워크를 제안하여 유한 표본 성능을 향상시키는 것.
• NeuMiss를 통한 통합 최적화가 표준 착수-회귀 파ipeline을 능가한다는 것을 경험적으로 검증하는 것.

제안 방법

• 이론적 분석을 통해 어떤 결측 메커니즘과 거의 모든 착수 함수에 대해 강력한 학습기와 함께 착수한 후에 회귀 분석을 수행하는 방식이 점점 더 베이지 최적임을 입증한다.
• 논문은 관측된 변수와 결측된 변수 간의 조건부 의존성을 모델링함으로써, 통합 착수 및 회귀 함수를 학습하는 딥 뉴럴 네트워크인 NeuMiss를 도입한다.
• NeuMiss는 결측 패턴 간에 공유된 가중치를 사용하며, 마스크를 입력 표현의 일부로 통합하여 엔드 투 엔드 학습을 가능하게 한다.
• 방법은 결과에 대한 예측 오차를 최소화하는 통합 학습 목표를 통해 평가되며, 이는 착수와 회귀 양쪽을 암묵적으로 최적화한다.
• 실험은 시뮬레이션된 비선형 회귀 과제에서 표준 착수 방법(Mean, MICE)과 기울기 부스팅 트리와 비교하여 수행되었으며, 마스크 연결 여부를 고려한다.
• 초기화 파rameter는 검증 세트를 사용하여 튜닝되며, 100,000개의 샘플에서 학습되고, 10,000개는 검증 및 테스트에 사용된다.

실험 결과

연구 질문

• RQ1 착수-회귀 절차가 MAR 이외의 모든 결측 데이터 메커니즘에 대해 이론적으로 타당한가?
• RQ2 조건부 기대값을 착수 함수로 사용할 경우 일반 설정에서 베이지 최적 예측기로 이어지는가?
• RQ3 착수와 회귀의 통합 학습이 이단계 방법보다 예측 성능을 향상시킬 수 있는가?
• RQ4 착수 방법의 선택이 도출된 회귀 함수의 연속성과 학습 가능성에 어떤 영향을 미치는가?
• RQ5 결측이 무시할 수 없는(MNAR) 설정에서 결측 마스크를 통합하면 성능 향상이 이루어지며, 통합 모델은 이 필요성을 제거할 수 있는가?

주요 결과

• 강력한 학습기를 사용한 착수-회귀 절차는 결측 메커니즘과 거의 모든 착수 함수에 대해 어떤 수의 결측 변수가 있든 점점 더 베이지 최적임을 입증한다.
• 오라클 착수(조건부 기대값)와 오라클 회귀 함수를 연결하면 비연속적인 회귀 함수가 되며, 이는 학습하기 어려워지고 과도한 위험을 초래한다.
• 오라클 착수 후에 MLP를 적용하면 모든 설정에서 거의 베이지 성능을 달성하며, 이는 최적은 아니지만 연속적인 회귀 함수도 여전히 잘 작동할 수 있음을 보여준다.
• NeuMiss는 모든 이단계 절차를 능가하며, 평균 또는 MICE 착수에 마스크 연결을 사용한 경우에도 특히 MNAR 설정에서 뛰어난 성능을 보였다.
• 평균 및 MICE 착수에 마스크를 추가하면 MNAR 설정에서 성능 향상이 이루어지지만, NeuMiss는 명시적인 마스크 입력 없이도 이 정보를 내재적으로 파악한다.
• 문제의 난이도가 증가함에 따라(예: 상관관계가 낮을 경우) 방법 간 성능 차이가 줄어들지만, NeuMiss는 모든 구성에서 일관된 우수성을 유지한다.