[논문 리뷰] Who wins the Miss Contest for Imputation Methods? Our Vote for Miss BooPF

Burim Ramosaj, Markus Pauly|arXiv (Cornell University)|2017. 11. 30.

Statistical Methods and Inference참고 문헌 19인용 수 4

한 줄 요약

이 논문은 연속형, 범주형, 혼합형 데이터에서 MCAR, MAR, MNAR 메커니즘 하에서 기존 방법들인 missForest와 MICE에 비해 뛰어난 정확도를 달성하는 새로운 보정 방법인 Miss BooPF를 제안한다. 이 방법은 확률적 경사 트리 부스팅(S.GBM)과 매개수 기반 부스터링된 랜덤 포레스트를 조합하여 보정 성능을 향상시키며, 고도화된 재표본 추출 및 부스팅 전략을 활용한다. 이는 합성 및 실제 데이터 세트에서 일관된 성능 향상을 보여준다.

ABSTRACT

Missing data is an expected issue when large amounts of data is collected, and several imputation techniques have been proposed to tackle this problem. Beneath classical approaches such as MICE, the application of Machine Learning techniques is tempting. Here, the recently proposed missForest imputation method has shown high imputation accuracy under the Missing (Completely) at Random scheme with various missing rates. In its core, it is based on a random forest for classification and regression, respectively. In this paper we study whether this approach can even be enhanced by other methods such as the stochastic gradient tree boosting method, the C5.0 algorithm or modified random forest procedures. In particular, other resampling strategies within the random forest protocol are suggested. In an extensive simulation study, we analyze their performances for continuous, categorical as well as mixed-type data. Therein, MissBooPF, a combination of the stochastic gradient tree boosting method together with the parametrically bootstrapped random forest method, appeared to be promising. Finally, an empirical analysis focusing on credit information and Facebook data is conducted.

연구 동기 및 목표

• 매개수 가정이 실패하는 복잡한 혼합형 데이터 세트에서 결측 데이터 보정 정확도를 향상시키기 위해.
• S.GBM와 수정된 랜덤 포레스트와 같은 고급 트리 기반 방법이 missForest와 MICE와 같은 표준 보정 기법보다 우수한 성능을 보이는지 평가하기 위해.
• 특히 매개수 기반 부스터링을 포함한 대체 재표본 추출 전략이 랜덤 포레스트 프레임워크 내에서 보정 성능에 미치는 영향을 조사하기 위해.
• 실제 데이터에 적용 가능한 강력하고 유연한 보정 프레임워크를 개발하고 검증하기 위해.
• 신용 및 페이스북 데이터에 대한 합성 시뮬레이션과 실증 분석을 통해 Miss BooPF의 우수성을 입증하기 위해.

제안 방법

• S.GBM를 회귀 및 분류 작업에 통합하고, 개선된 추정을 위한 매개수 기반 부스터링된 랜덤 포레스트(Kernel RF)를 활용하는 하이브리드 보정 방법인 Miss BooPF를 제안한다.
• 계산 비용을 줄이면서도 분포 성질을 유지하기 위해 매개수 기반 부스터링 방법을 채택하여 학습 데이터를 재표본 추출한다. 이는 대규모 데이터 세트에 특히 유리하다.
• MICE와 유사한 순환 보정 프rotocol를 사용하지만, 연속형 및 이산형 데이터를 동시에 처리할 수 있도록 체인 방정식 대신 트리 기반 모델을 사용하여 매개수 가정 없이 혼합형 데이터를 처리한다.
• 고차원적이고 비선형적인 데이터 구조에서 예측 정확도를 최적화하기 위해 S.GBM를 사용해 의사결정 트리를 순차적으로 부스팅한다.
• 변수 유형(연속형 대비 범주형)에 따라 자동으로 Kernel RF 또는 S.GBM를 선택하는 데이터 적응 전략을 구현하여 모델의 특이성 향상.
• 기존 비모수적 재표본 추출 대비 메모리 및 시간 오버헤드를 줄이기 위해, 학습 데이터를 추정된 부스터팅 매개수로 압축하는 새로운 재표본 스케줄을 구현한다.

실험 결과

연구 질문

• RQ1 혼합형 데이터 환경에서 표준 랜덤 포레스트 기반 방법인 missForest에 비해 확률적 경사 트리 부스팅(S.GBM)이 보정 정확도를 향상시킬 수 있는가?
• RQ2 랜덤 포레스트 보정 내에서 매개수 기반 부스터링이 전통적인 비모수적 재표본 추출에 비해 보정 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 MCAR, MAR, MNAR와 같은 다양한 결측 메커니즘 하에서 Miss BooPF가 MICE 및 missForest와 같은 기존 방법보다 뛰어난 성능을 보이는가?
• RQ4 다양한 재표본 추출 및 부스팅 전략을 사용할 때 연속형, 범주형, 혼합형 변수의 보정 성능는 어떻게 달라지는가?
• RQ5 Kernel RF와 S.GBM를 조합한 하이브리드 접근 방식이 합성 및 실제 데이터 세트에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• Miss BooPF는 모든 데이터 유형과 결측 메커니즘에서 기준 방법들인 missForest, MICE 등에 비해 정규화된 제곱근 평균 제곱오차(NRMSE)에서 뚜렷한 우월성을 보였다.
• 연속형 변수의 경우, 비정규 분포 조건에서도 missForest보다 Miss BooPF가 낮은 NRMSE를 기록하여 분포 위반에 대한 강건성을 입증했다.
• 불균형한 수준 빈도를 가진 범주형 변수의 경우, Miss BooPF에서 S.GBM 기반 보정이 missForest보다 더 높은 분류 정확도를 달성했다.
• Miss BooPF의 매개수 기반 부스터링 전략은 기존 비모수적 재표본 추출 대비 계산 비용을 줄였으며, 보정 정확도는 유지하거나 향상시켰다.
• 신용 및 페이스북 데이터에 대한 실증 분석을 통해 Miss BooPF는 특히 고차원적이고 혼합형 데이터 환경에서 기준 방법보다 더 정확한 보정을 제공하는 것으로 확인되었다.
• Miss BooPF의 하이브리드 설계—연속형 변수에 대해 Kernel RF, 범주형 변수에 대해 S.GBM를 사용하는 방식—은 다양한 데이터 구조에 효과적이고 적응 가능함을 입증했다.