[논문 리뷰] Linear predictor on linearly-generated data with missing values: non consistency and solutions

Marine Le Morvan, Nicolas Prost외 3명|arXiv (Cornell University)|2020. 02. 03.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 13

한 줄 요약

이 논문은 누락 데이터가 있는 선형 예측을 조사하며, 관측된 값과 누락 여부 지표 간의 상호작용으로 인해 최적의 예측기는 비선형인 것으로 밝혀진다. 연구는 누락 패턴별 베이즈 예측기 기반 추정기와 상수 보간 및 마스크 인코딩을 통한 추정기 두 가지를 제안하고, ReLU 활성화를 갖는 다층퍼셉트론(MLP)이 일관성과 뛰어난 성능을 보이며, 특히 무시할 수 없는 누락(MNAR) 상황에서 두 기준보다 뛰어남을 입증한다.

ABSTRACT

We consider building predictors when the data have missing values. We study the seemingly-simple case where the target to predict is a linear function of the fully-observed data and we show that, in the presence of missing values, the optimal predictor may not be linear. In the particular Gaussian case, it can be written as a linear function of multiway interactions between the observed data and the various missing-value indicators. Due to its intrinsic complexity, we study a simple approximation and prove generalization bounds with finite samples, highlighting regimes for which each method performs best. We then show that multilayer perceptrons with ReLU activation functions can be consistent, and can explore good trade-offs between the true model and approximations. Our study highlights the interesting family of models that are beneficial to fit with missing values depending on the amount of data available.

연구 동기 및 목표

• 누락 값이 포함된 데이터에서 선형 예측의 근본적 과제를 이해하기 위해, 특히 무시할 수 없는 누락 메커니즘 하에서의 도전 과제를 분석한다.
• 표준 선형 모델이 누락 여부 지표에 대한 비선형적 의존성으로 인해 이 맥락에서 실패하는 이유를 규명한다.
• 누락 데이터 패턴의 구조를 고려한 실용적인 추정기를 개발하고 분석한다.
• 다층퍼셉트론(MLP)이 선형 및 보간 기반 방법에 비해 일관성 있고 유연한 대안으로서의 성능을 평가한다.
• 일반화 경계를 수립하고 각 방법이 최고의 성능을 보이는 데이터 영역을 특정한다.

제안 방법

• 가우시안 가정 하에서 베이즈 예측기를 유도하며, 관측된 값과 누락 여부 지표 간의 다중 방향 상호작용이 존재해 비선형인 것으로 나타낸다.
• 각 고유한 누락 패턴(즉, 마스크 패턴)에 대해 별도의 선형 모델을 피팅하는 첫 번째 추정기를 제안하여, 패턴별 조건부 기대값을 효과적으로 모델링한다.
• 누락된 값을 상수로 보간하고 누락 여부 지표를 특징 벡터에 연결하는 방식의 두 번째 추정기를 도입하여, 표준 선형 모델링을 가능하게 한다.
• 두 추정기의 유한 표본 일반화 경계를 수립하며, 표본 크기 및 누락 패턴 수 등 데이터 영역에서 각 방법이 승리하는 조건을 규명한다.
• ReLU 활성화를 갖는 다층퍼셉트론(MLP)의 일관성을 분석하며, 충분한 넓이를 갖춘 경우 진정한 베이즈 예측기를 근사할 수 있음을 증명한다.
• 누락 데이터에 의해 유도되는 복잡한 상호작용을 효과적으로 모델링할 수 있음을 입증하며, 특히 MNAR 메커니즘 하에서 적절한 임계값과 가중치를 학습함으로써 성능을 높인다.

실험 결과

연구 질문

• RQ1 진정한 관계가 선형인 경우에도, 누락된 값을 가진 선형적으로 생성된 데이터에 대해 최적의 예측기가 왜 비선형인가?
• RQ2 유한 표본 하에서 패턴별 선형 모델과 보간 기반 모델 간의 일반화 성능를 비교하면 어떻게 되는가?
• RQ3 다층퍼셉트론(MLP)은 누락 데이터 존재 하에서도 일관성을 확보할 수 있는가? 어떤 조건에서 가능한가?
• RQ4 MLP의 필요 네트워크 너비는 누락 메커니즘의 복잡성과 데이터 차원 수에 따라 어떻게 변화하는가?
• RQ5 어떤 데이터 영역(예: 표본 크기, 누락 메커니즘)에서 각 방법—패턴별 회귀, 보간 기반 회귀, 또는 MLP—가 최고의 예측 성능를 보이는가?

주요 결과

• 가우시안 가정 하에서 최적의 예측기는 비선형인데, 이는 관측된 값과 누락 여부 지표 간의 다중 상호작용을 포함하기 때문에 표준 선형 모델이 성립하지 않는다.
• 고유한 패턴 수가 적고 데이터가 풍부할 경우, 각 패턴별로 별도의 모델을 피팅하는 패턴별 선형 추정기는 뛰어난 성능을 보인다.
• 누락된 값을 상수로 대체하고 마스크 지표를 특징 벡터에 첨부하는 보간 기반 추정기는 저차원 환경에서 중간 크기의 표본 수에서 잘 작동한다.
• 일반화 경계 분석 결과, 두 추정기의 성능는 표본 크기와 누락 패턴 수에 따라 크게 좌우되며, 명확한 영역 기반 우월성이 존재한다.
• 은닉 유닛 수가 충분히 큰 다층퍼셉트론(MLP)은 ReLU 활성화를 통해 진정한 베이즈 예측기를 일관성 있게 추정할 수 있다.
• 실험 결과, MLP는 특히 무시할 수 없는 누락(MNAR) 상황에서 두 기준 추정기보다 뛰어난 성능를 보이며, 혼합 가우시안과 같은 복잡한 데이터 생성 메커니즘에서는 넓이가 $2^d$ 비례하여 증가해야 함을 확인했다.