[논문 리뷰] An Investigation of Methods for Handling Missing Data with Penalized Regression

Yunjin Choi, Robert Tibshirani|arXiv (Cornell University)|2013. 10. 08.

Statistical Methods and Inference참고 문헌 9인용 수 4

한 줄 요약

이 논문은 누락 데이터가 있는 경우 펜라티드 회귀에 비음수 정의 공분산 접근법을 제안하며, 목적 함수의 비편향 추정량을 사용한 후 볼록성 유지 ℓ₂ 정규화를 적용한다. 이와 더불어 균형 매개변수를 통해 이 접근법과 평균 대체를 조합한 하이브리드 방법을 제안하여, 특히 고도의 신호 누락과 상관 구조를 가진 설계에서 평균 대체보다 더 낮은 평균 제곱 오차(MSE) 성능을 보인다.

ABSTRACT

We investigate methods for penalized regression in the presence of missing observations. This paper introduces a method for estimating the parameters which compensates for the missing observations. We first, derive an unbiased estimator of the objective function with respect to the missing data and then, modify the criterion to ensure convexity. Finally, we extend our approach to a family of models that embraces the mean imputation method. These approaches are compared to the mean imputation method, one of the simplest methods for dealing with missing observations problem, via simulations. We also investigate the problem of making predictions when there are missing values in the test set.

연구 동기 및 목표

• 예측 변수에 누락 값이 존재할 때 펜라티드 회귀를 적용하는 데 도전하는 문제를 다루기 위해.
• 누락 데이터를 통계적으로 타당하게 고려하면서도 목적 함수의 볼록성을 유지하는 방법을 개발하기 위해.
• 더 나은 추정 정확도를 위해 대체에 공분산 구조를 통합함으로써 단순 평균 대체를 개선하기 위해.
• 부분적으로 누락된 테스트 세트에서의 교차 검증 및 예측을 위한 실용적 지침을 제공하기 위해.
• 다양한 누락 데이터 패턴 하에서 제안된 방법의 성능을 평균 대체 및 진정한 공분산 기반 접근법과 비교하기 위해.

제안 방법

• 누락이 무작위(MAR) 가정 하에서 펜라티드 회귀 목적 함수의 비편향 추정량을 유도한다.
• 볼록성을 보장하기 위해 비편향 추정량에 ℓ₂ 정규화를 추가하여 수정함으로써 효율적인 최적화를 가능하게 한다.
• 균형 매개변수 η를 통해 비음수 정의 공분산 접근법과 평균 대체를 조합한 하이브리드 방법을 도입한다.
• 훈련 및 테스트 세트에서 누락된 값을 대체하기 위해 추정된 공분산 행렬 $ C_{ZZ}^{\hat{\eta}} + (|\Lambda_{\text{min}}| + \hat{\lambda}(1 - \hat{\alpha}))I $ 를 사용한다.
• 순환 좌표 강하법을 최적화에 활용하며, 소프트 임계값 처리를 S(·, γ) 연산자로 활용한다.
• 부분적으로 누락된 테스트 세트를 사용한 교차 검증을 수행하며, 예측에 추정된 공분산을 기반으로 한 조건부 기대값을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 누락 데이터 패턴 하에서 제안된 비음수 정의 공분산 방법이 평균 대체보다 평균 제곱 오차(MSE) 측면에서 어떻게 성능을 내는가?
• RQ2 균형 매개변수 η를 통해 비음수 정의 공분산 접근법과 평균 대체를 조합하면, 각각의 방법보다 더 나은 성능을 낼 수 있는가?
• RQ3 데이터가 누락되었을 때 교차 검증을 통해 최적의 정규화 매개변수(α, λ, η)를 선택하는 데에 제안된 방법이 얼마나 효과적인가?
• RQ4 테스트 세트에서 누락된 값을 대체할 때 추정된 공분산 행렬, 진정한 공분산 행렬, 항등 공분산 행렬을 사용할 경우의 영향은 무엇인가?
• RQ5 테스트 관측치에 누락 값이 포함되어 있을 때 교차 검증과 예측을 어떻게 수행해야 하는가?

주요 결과

• 비음수 정의 공분산 접근법은 특히 신호 변수에 높은 누락 비율이 존재할 경우(예: Σ₃에서 고도의 신호 누락 시 MSE 비율 1.43 대 1.21) 평균 대체보다 항상 더 낮은 MSE를 기록한다.
• 균형 매개변수 η를 사용한 하이브리드 방법은 균일한 누락 비율이 존재하는 시나리오에서 평균 대체 및 비음수 정의 접근법보다 더 낮은 MSE를 달성하며, Σ₃ 하에서 전역 최소 MSE 비율 1.18(진정한 공분산 대비 1.33)을 기록한다.
• 추정된 공분산 행렬 $ \Sigma_{\text{est}} $ 는 상관 설계에서 열 평균 대체(Σ = I)보다 훨씬 낮은 테스트 오차를 유도하며, Σ₃ 하에서 테스트 오차 비율 1.18 대 1.33이다.
• 테스트 세트에 대해 $ \Sigma_{\text{est}} $ 를 사용한 교차 검증은 최적의 매개변수(α, λ, η) 선택에 더 정확한 성능을 보이며, 9개의 시나리오에서 일관된 성능을 보였다.
• 균형 매개변수 η는 효과적이며, 최적 값은 일반적으로 (0,1) 범위 내에 위치하여 두 방법의 가중 조합이 순수한 평균 대체나 순수한 공분산 기반 대체보다 더 나은 성능을 낸다.
• ℓ₂ 정규화로 인해 볼록성과 닫힌 형태의 갱신이 보장되므로, 많은 수의 누락 값이 존재하더라도 계산 효율성이 유지된다.