[논문 리뷰] NeuMiss networks: differentiable programming for supervised learning with missing values

Marine Le Morvan, Julie Josse외 3명|arXiv (Cornell University)|2020. 07. 03.

Machine Learning and ELM참고 문헌 32인용 수 14

한 줄 요약

NeuMiss 네트워크는 결측 데이터 패턴을 학습 가능한 곱셈 비선형성과 결측 여부 지시자(Indicator)를 사용하여 명시적으로 모델링하는 미분 가능 신경망 아키텍처를 도입한다. 최적의 베이즈 예측기의 네이만 급수 근사에 의해, 이 방법은 결측값이 있는 지도 학습에서 최신 기술 수준의 성능을 달성한다—특히 MNAR 메커니즘 하에서—동시에 결측 패턴 수에 영향을 받지 않는 계산 및 표본 복잡도를 유지한다.

ABSTRACT

The presence of missing values makes supervised learning much more challenging. Indeed, previous work has shown that even when the response is a linear function of the complete data, the optimal predictor is a complex function of the observed entries and the missingness indicator. As a result, the computational or sample complexities of consistent approaches depend on the number of missing patterns, which can be exponential in the number of dimensions. In this work, we derive the analytical form of the optimal predictor under a linearity assumption and various missing data mechanisms including Missing at Random (MAR) and self-masking (Missing Not At Random). Based on a Neumann-series approximation of the optimal predictor, we propose a new principled architecture, named NeuMiss networks. Their originality and strength come from the use of a new type of non-linearity: the multiplication by the missingness indicator. We provide an upper bound on the Bayes risk of NeuMiss networks, and show that they have good predictive accuracy with both a number of parameters and a computational complexity independent of the number of missing data patterns. As a result they scale well to problems with many features, and remain statistically efficient for medium-sized samples. Moreover, we show that, contrary to procedures using EM or imputation, they are robust to the missing data mechanism, including difficult MNAR settings such as self-masking.

연구 동기 및 목표

• MCAR 및 MAR 메커니즘 하에서 복잡한 결측 데이터 메커니즘(예: MNAR)에 특히 초점을 맞춰 결측값이 있는 지도 학습의 과제를 해결한다.
• 모든 2^d 결측 패턴을 명시적으로 모델링하는 전통적 방법이 겪는 지수적 계산 및 표본 복잡도 문제를 해결한다.
• 관측된 데이터와 결측 패턴에 기반해 값 보정을 암묵적으로 학습할 수 있는 이론적으로 탄탄한 신경망 아키텍처를 개발한다.
• 표준 보정 또는 EM 방법이 실패하는 자기 마스크링 MNAR를 포함한 알 수 없는 또는 복잡한 결측 데이터 메커니즘에 대한 강건성을 확보한다.
• 고차원 데이터에 대해 낮은 표본 및 계산 복잡도로 높은 예측 정확도를 달성하며, 확장 가능한 성능을 확보한다.

제안 방법

• MAR 및 MNAR 메커니즘 하에서 선형 회귀의 베이즈 예측기의 해석적 형태를 유도한다. 이는 자기 마스크링을 포함한다.
• 최적의 예측기를 네이만 급수 전개를 통해 근사함으로써, 미분 가능 최적화를 가능하게 한다.
• 새로운 비선형성 도입: 은닉 표현의 원소 수준 곱셈을 결측 여부 지시자(⊙M)와 수행함으로써, 패턴 인식 학습이 가능해진다.
• 각 층이 ⊙M 비선형성을 적용하는 딥 아키텍처를 설계함으로써, 복잡하고 데이터 의존적인 보정을 학습할 수 있도록 한다.
• 표준 손실(예: MSE)을 사용한 확률적 경사 하강법으로 네트워크를 훈련함으로써, 엔드 투 엔드의 미분 가능성과 일致한 예측기 수렴을 보장한다.
• 더 깊은 변종에서는 잔차 연결을 사용하여 훈련 안정성 향상과 일반화 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 데이터가 MAR 및 MNAR 메커니즘 하에서 결측일 경우 선형 회귀의 최적 예측기의 해석적 형태는 무엇인가?
• RQ2 모든 2^d 결측 패턴을 명시적으로 모델링하지 않고도 최적의 보정 함수를 암묵적으로 학습할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ3 결측 여부 지시자에 의한 ⊙M 비선형성의 사용이 일반화 성능과 결측 데이터 메커니즘에 대한 강건성에 어떻게 기여하는가?
• RQ4 특히 MNAR 설정 하에서, NeuMiss 아키텍처는 EM 또는 MICE와 같은 표준 방법보다 더 뛰어난 예측 성능을 달성하는가?
• RQ5 2^d 개의 모델이 필요한 방법과 비교해 복잡도 이론적 및 실증적 표본 복잡도는 무엇인가?

주요 결과

• NeuMiss 네트워크는 고차원 데이터셋(d = 10, n = 10^5)에서 MCAR 및 MAR 조건 하에서도 베이즈 속도에 근접한 성능을 달성하며, R² 점수는 최적 수준에 1% 이내로 유지된다.
• 자기 마스크링 MNAR 설정 하에서, NeuMiss는 EM 및 MICE를 크게 앞서며, 표본 크기가 증가할수록 성능 격차가 더욱 벌어진다.
• 이 아키텍처는 결측 패턴 수 2^d에 영향을 받지 않는 낮은 계산 복잡도 O(d²) 및 표본 복잡도 O(d²)를 유지한다.
• NeuMiss 네트워크는 EM 및 보정 기반 방법이 모델 잘못 설정으로 실패하는 자기 마스크링 MNAR 메커니즘에 대해 강건하다.
• NeuMiss 네트워크의 용량을 증가시킬수록 예측 정확도가 향상되며, 기존의 MLP와 달리 깊이가 증가해도 성능 향상이 없는 현상은 관찰되지 않는다.
• NeuMiss의 얕은 버전은 마스크된 입력을 갖는 표준 MLP와 수학적으로 동일하므로, 일반적으로 마스크를 연결하는 관행에 대한 이론적 근거를 제공한다.