[論文レビュー] Review for Handling Missing Data with special missing mechanism

Youran Zhou, Sunil Aryal+1 more|arXiv (Cornell University)|Apr 7, 2024

AI in cancer detection被引用数 8

ひとこと要約

この論文は、表形式データにおける特別な欠測機構（MAR および MNAR）を概説し、欠測データの補完手法（深層学習に重点を置く）をレビューし、ギャップと将来の研究方向を特定します。

ABSTRACT

Missing data poses a significant challenge in data science, affecting decision-making processes and outcomes. Understanding what missing data is, how it occurs, and why it is crucial to handle it appropriately is paramount when working with real-world data, especially in tabular data, one of the most commonly used data types in the real world. Three missing mechanisms are defined in the literature: Missing Completely At Random (MCAR), Missing At Random (MAR), and Missing Not At Random (MNAR), each presenting unique challenges in imputation. Most existing work are focused on MCAR that is relatively easy to handle. The special missing mechanisms of MNAR and MAR are less explored and understood. This article reviews existing literature on handling missing values. It compares and contrasts existing methods in terms of their ability to handle different missing mechanisms and data types. It identifies research gap in the existing literature and lays out potential directions for future research in the field. The information in this review will help data analysts and researchers to adopt and promote good practices for handling missing data in real-world problems.

研究の動機と目的

• 欠測データとは何か、なぜ現実世界の表データにおける処理が重要かを要約する。
• MCAR、MAR、MNAR の下での欠測データ処理手法を調査・比較し、MAR/MNAR に重点を置く。
• 補完のための深層学習および表現学習アプローチを強調する。
• MAR および MNAR に関連する欠測データ生成方法をカタログ化する。
• 研究のギャップを特定し、将来の課題を提案する。

提案手法

• 欠測データ処理手法の分類法（除去、補完、表現学習）を提示する。
• 補完ベースの技術に焦点を当て、深層学習ベースのアプローチとそれらの特別な欠測機構への適用可能性に注意を払う。
• 統計、機械学習、深層学習、最適化ベースの補完手法を含み、MI/MIの派生形およびニューラルネットワークベースのスキームを含む。
• 欠測データ機構（MCAR/MAR/MNAR）が手法の選択と評価にどのように影響するかを検討する。
• 方法比較を可能にする MAR/MNAR の欠測データ生成法をカタログ化する。

実験結果

リサーチクエスチョン

• RQ1 既存の欠測データ手法は MAR および MNAR の下で MCAR と比較してどのように性能を示すか？
• RQ2 表データの特別な欠測機構に有効な深層学習ベースの補完技術は何か？
• RQ3 MAR および MNAR に関する文献にはどのようなギャップがあり、将来の方向性は何が提案されているか？
• RQ4 MAR/MNAR のための欠測データ生成を標準化して、公正な手法比較を可能にするにはどうすればよいか？

主な発見

• MCAR に対する手法の集中度が高く、MAR および MNAR はあまり検討されていない。
• 除去、補完、表現学習アプローチの広範な分類法が存在し、補完には深層学習が重要性を増している。
• 標準化された MAR/MNAR データ生成実践の欠如を特定し、手法間の比較を妨げている。
• 現実の問題における MAR/MNAR 処理を進めるための総合的な調査と将来の研究方向の提案が求められている。
• 複雑な欠測機構下での堅牢な補完のための表現学習を有望な道として強調。