[논문 리뷰] A Different Approach to the Problem of Missing Data

Gu Xiao, Norman Matloff|arXiv (Cornell University)|2015. 09. 16.

Statistical Methods and Bayesian Inference참고 문헌 5인용 수 3

한 줄 요약

이 논문은 결측 데이터 처리를 위한 완전한 사례(Complete Cases, CC)와 다중 보정(Multiple Imputation, MI)의 대안으로 가능 사례(Available Cases, AC)를 재검토한다. 선형 회귀, 주성분 분석(PCA), 로그선형 모델에서 MCAR 조건 하에서 AC는 통계적 정확도에서 CC를 능가하며, MAR 조건 하에서도 연관성 모델에 대해 유효하다. 또한 MI보다 훨씬 빠르며, 유사하거나 더 낫거나 성능을 보인다.

ABSTRACT

There is a long history of devleopment of methodology dealing with missing data in statistical analysis. Today, the most popular methods fall into two classes, Complete Cases (CC) and Multiple Imputation (MI). Another approach, Available Cases (AC), has occasionally been mentioned in the research literature, in the context of linear regression analysis, but has generally been ignored. In this paper, we revisit the AC method, showing that it can perform better than CC and MI, and we extend its breadth of application.

연구 동기 및 목표

• 결측 데이터 처리에 있어 완전한 사례(CC)와 다중 보정(MI)과의 비교를 통해 가능 사례(AC)가 실용적이고 통계적으로 타당한 방법임을 재평가하는 것.
• 결측이 완전히 무작위로 발생하는(Missing Completely at at Random, MCAR) 조건 하에서, AC가 결측 데이터 존재 시 CC보다 높은 통계적 정확도를 달성할 수 있음을 보여주는 것.
• 일반적으로 편향이 발생한다고 여겨지는 바와는 달리, 결측이 무작위로 발생하는(Missing at Random, MAR) 조건 하에서도 AC가 선형 회귀 및 연관성 모델링에 대해 유효함을 보여주는 것.
• AC가 MI에 비해 계산적으로 효율적이며 통계적으로 경쟁력 있다는 경험적 증거를 제공함으로써, MI의 인기와 객관적인 강건성에 대한 인식과는 대조적으로, 이를 보완하는 것.
• 선형 회귀를 넘어서 주성분 분석(PCA)과 연립표 분석을 위한 로그선형 모델로 AC의 적용 범위를 확장하는 것.

제안 방법

• 모든 변수가 관측된 행들만을 대상으로 쌍별 통계량(예: 상관곱)을 계산함으로써 전체 행을 삭제하지 않는 방식으로 가능 사례(AC)를 사용함.
• 예측변수와 반응변수 쌍이 모두 관측된 경우에만 계수를 추정함으로써 선형 회귀에 AC를 적용하며, 각 쌍의 유효 표본 크기를 조정함.
• 주성분 분석(PCA)에 AC를 확장하기 위해 쌍별 가능 사례에서 표본 공분산행렬을 계산함으로써, 특정 조건 하에서는 행렬이 양의 준정적(positive definite)을 유지함을 보장함.
• 연립표 분석을 위한 로그선형 모델에 AC를 적용하기 위해 관측 가능한 사례 기반의 공동확률 및 주변확률 추정치를 사용함.
• 실제 및 시뮬레이션 데이터셋을 사용하여 AC, CC, MI를 비교하는 수정된 경험적 접근법을 활용함. 주로 추정 정확도와 계산 속도에 초점을 맞춤.
• 비교를 위해 앨리어미(Amelia)를 대표적인 MI 방법으로 사용함. 다만, MI는 느리며 MCAR 및 MAR 조건 하에서 AC만큼 정확도가 높지 않음을 발견함.

실험 결과

연구 질문

• RQ1 결측 데이터가 완전히 무작위로 발생하는(MCAR) 조건 하에서, 가능 사례(AC)가 완전한 사례(CC)보다 통계적 정확도에서 뛰어나게 되는가?
• RQ2 일반적으로 편향이 발생한다고 여겨지는 바와는 달리, 결측이 무작위로 발생하는(MAR) 조건 하에서도 AC가 선형 회귀 및 연관성 모델링에 대해 유효한가?
• RQ3 특히 대규모 데이터셋에서 가능 사례(AC)의 계산 효율성은 다중 보정(MI)과 비교해 어떻게 되는가?
• RQ4 가능 사례(AC)는 주성분 분석(PCA) 및 연립표 분석을 위한 로그선형 모델로 신뢰성 있게 확장될 수 있는가?
• RQ5 AC가 유효한 조건에서, MI는 AC에 비해 통계적 이점(편향 및 평균제곱오차 측면에서)을 제공하는가?

주요 결과

• MCAR 조건 하에서 실제 데이터 연구에서, AC는 선형 회귀 계수 추정 및 모형 적합도 측면에서 CC보다 유의미하게 높은 정확도를 보였다.
• MAR 조건 하에서도 AC는 선형 회귀 및 연관성 모델에 대해 유효한 추론을 유지하였으며, 조건부 분포가 편향 없이 유지되기 때문이다.
• AC는 MI보다 훨씬 빠른 계산 속도를 보였다. 예를 들어, n=10,000, p=25 조건에서 PCA 시뮬레이션에서 MI는 92.9초, AC는 1.97초가 소요됨.
• 저자들의 시뮬레이션 결과, MI는 MAR 조건 하에서도 AC만큼의 통계적 성능을 보이지 않았다.
• AC에서 사용된 상관곱 행렬은 실질적으로 양의 준정적이었으며, 이는 일반적으로 우려되는 유효성 문제를 반박하는 것이었다.
• AC는 속도와 단순성의 측면에서 특히 중요한 경우, 선형 회귀 및 연관성 모델링에서 MI의 강력한 실용적 대안으로 떠올랐다.