[논문 리뷰] Review for Handling Missing Data with special missing mechanism

Youran Zhou, Sunil Aryal외 1명|arXiv (Cornell University)|2024. 04. 07.

AI in cancer detection인용 수 8

한 줄 요약

이 논문은 표 데이터에서 특수 결측 메커니즘(MAR 및 MNAR)을 조사하고, 결측치를 다루는 방법(딥 러닝에 중점)을 검토하며, 격차와 향후 연구 방향을 식별한다.

ABSTRACT

Missing data poses a significant challenge in data science, affecting decision-making processes and outcomes. Understanding what missing data is, how it occurs, and why it is crucial to handle it appropriately is paramount when working with real-world data, especially in tabular data, one of the most commonly used data types in the real world. Three missing mechanisms are defined in the literature: Missing Completely At Random (MCAR), Missing At Random (MAR), and Missing Not At Random (MNAR), each presenting unique challenges in imputation. Most existing work are focused on MCAR that is relatively easy to handle. The special missing mechanisms of MNAR and MAR are less explored and understood. This article reviews existing literature on handling missing values. It compares and contrasts existing methods in terms of their ability to handle different missing mechanisms and data types. It identifies research gap in the existing literature and lays out potential directions for future research in the field. The information in this review will help data analysts and researchers to adopt and promote good practices for handling missing data in real-world problems.

연구 동기 및 목표

• 실제 세계의 표 데이터에서 누락 데이터가 무엇인지 요약하고 이를 다루는 것이 왜 중요한지 정리한다.
• MCAR, MAR, MNAR 하에서 누락 데이터를 다루는 방법을 조사하고 비교하며, MAR/MNAR에 중점을 둔다.
• 보정(imputation)을 위한 딥 러닝 및 표현 학습(representation-learning) 접근법을 강조한다.
• MAR 및 MNAR와 연관된 누락 데이터 생성 방법을 분류한다.
• 연구 격차를 식별하고 향후 연구 방향을 제안한다.

제안 방법

• 삭제, 보정(imputation), 표현 학습(representation learning)을 포함한 누락 데이터 처리 방법의 분류를 제시한다.
• 보정 기반 기법에 중점을 두고, 딥 러닝 기반 접근법과 특수 결측 메커니즘에 대한 적용 가능성에 주목한다.
• 통계적, 머신 러닝, 딥 러닝, 최적화 기반 보정 방법을 다루고, MI/MI 변형 및 신경망 기반 체계를 포함한다.
• 누락 데이터 메커니즘(MCAR/MAR/MNAR)이 방법 선택 및 평가에 어떤 영향을 미치는지 고찰한다.
• 방법 비교를 가능하게 하기 위해 MAR/MNAR 누락 데이터를 생성하는 방법을 분류한다.

실험 결과

연구 질문

• RQ1 기존 누락 데이터 방법이 MAR 및 MNAR일 때 MCAR에 비해 어떻게 수행되는가?
• RQ2 표 데이터의 특수 결측 메커니즘에 대해 어떤 딥 러닝 기반의 보정 기법이 효과적인가?
• RQ3 MAR 및 MNAR에 관한 문헌의 격차는 무엇이며, 어떤 향후 방향이 제안되는가?
• RQ4 MAR/MNAR에 대한 누락 데이터 생성을 어떻게 표준화하여 공정한 방법 비교를 가능하게 만들 수 있는가?

주요 결과

• MCAR에 대한 방법이 현저히 집중되어 있으며, MAR 및 MNAR은 덜 탐구된다.
• 삭제, 보정, 표현 학습 접근법에 대한 광범위한 분류 체계가 존재하며, 보정에서 딥 러닝의 두각이 커지고 있다.
• 이 논문은 MAR/MNAR 데이터 생성의 표준화된 관행이 부족하다고 지적하여 방법 간 비교를 저해한다.
• 실제 문제에서 MAR/MNAR 다루기를 발전시키기 위한 포괄적 연구 조사와 향후 연구 방향 제안이 필요하다고 제시한다.
• 이 리뷰는 복잡한 누락 메커니즘에서 견고한 보정을 위한 유망한 경로로 표현 학습(representation learning)을 강조한다.