[論文レビュー] MIRACLE: Causally-Aware Imputation via Learning Missing Data Mechanisms

Trent Kyono, Yao Zhang+2 more|arXiv (Cornell University)|Nov 4, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

MIRACLE は、欠損グラフ（m-グラフ）を繰り返し学習し、欠損変数の因果親に一致するように予測を正則化することで、任意のベースライン欠損補完手法を改善する因果に配慮した補完フレームワークである。MIRACLE は、欠損のメカニズムが完全にランダム（MCAR）、ランダム（MAR）、ランダムでない（MNAR）いかなる状況においても、性能を低下させることなく、合成データおよび実世界のデータセットにおいて一貫して補完性能を向上させる。

ABSTRACT

Missing data is an important problem in machine learning practice. Starting from the premise that imputation methods should preserve the causal structure of the data, we develop a regularization scheme that encourages any baseline imputation method to be causally consistent with the underlying data generating mechanism. Our proposal is a causally-aware imputation algorithm (MIRACLE). MIRACLE iteratively refines the imputation of a baseline by simultaneously modeling the missingness generating mechanism, encouraging imputation to be consistent with the causal structure of the data. We conduct extensive experiments on synthetic and a variety of publicly available datasets to show that MIRACLE is able to consistently improve imputation over a variety of benchmark methods across all three missingness scenarios: at random, completely at random, and not at random.

研究の動機と目的

• 欠損データによって引き起こされる誤った相関関係が、後続の推論やモデル性能を歪める問題に対処すること。
• 元のデータ生成プロセスと因果的に整合性を持つように、任意のベースライン補完手法を向上させる汎用フレームワークを開発すること。
• 因果グラフ（m-グラフ）を用いて欠損メカニズムを明示的にモデル化し、観測されたデータの依存関係に起因するバイアスを低減する補完を支援すること。
• 欠損の3つのメカニズム（欠損がランダム（MAR）、完全にランダム（MCAR）、ランダムでない（MNAR））のすべてにおいて、堅牢性を確保すること。
• MIRACLE を用いた因果に配慮した補完が、ベースライン結果を劣化させることなく一貫して性能を向上させることを示すこと。

提案手法

• MIRACLE は、任意の既存の補完手法に適用可能な改善フレームワークであり、学習された m-グラフを用いて繰り返し予測を改善する。
• ブートストラップ補完ループを用いて、変数間の条件付き独立性および因果関係を符号化する欠損グラフ（m-グラフ）を学習する。
• 2段階の正則化器を適用する：1つは因果グラフ構造に基づき、予測が因果親にのみ依存することを保証するものであり、もう1つは欠損インジケータに基づくモーメント正則化器である。
• フレームワークは、欠損インジケータへの干渉を考慮した予測誤差の最悪ケースを最小化するロバスト最適化問題として定式化する。
• m-グラフはニューラルネットワークの入力層に埋め込まれ、勾配ベース最適化によるエンドツーエンド学習を可能にする。
• エポックごとに反復的改善が行われ、RMSE を用いて性能をモニタリングし、複数のデータセットで収束が観察される。

実験結果

リサーチクエスチョン

• RQ1 因果に配慮した補完フレームワークである MIRACLE は、欠損がランダム（MAR）、完全にランダム（MCAR）、ランダムでない（MNAR）という3つのすべての欠損メカニズムにおいて、ベースライン結果を劣化させることなく性能を向上させることができるか？
• RQ2 m-グラフを用いて欠損生成メカニズムを学習することで、標準的な補完手法と比較して、補完精度にどのような影響を与えるか？
• RQ3 MIRACLE の性能は、学習された因果グラフのスパarsity（スパarsity）と正確さにどの程度依存するか？
• RQ4 ベースライン補完器の初期性能が異なる場合でも、MIRACLE の改善プロセスは一貫して誤差を低減するのか？
• RQ5 MIRACLE は、通常は弱いベースラインとされる平均補完でさえ、因果的整合性を強制することで向上させることができるか？

主な発見

• MIRACLE は、合成データおよび実世界のデータセットにおいて、6つのベンチマーク補完手法すべてで一貫して性能を向上させ、いかなる状況でも性能の低下が見られない。
• 学習された m-グラフが欠損変数の因果親をスパースに特定した場合に、性能向上が最大となり、因果的特異性が改善を高めることを示している。
• 因果発見が不正確で、m-グラフに多数の誤ったエッジが含まれる場合、MIRACLE の改善は限定的になるため、正確な因果構造の学習の重要性が浮き彫りになる。
• アバロンデータセットでは、MIRACLE が平均補完を改善し、より強力なベースラインと同等の性能を達成した。これは、弱い補完器を上昇させることの可能性を示している。
• サンプル単位の分析では、MIRACLE は大部分のインスタンスで性能を向上させており、すでに良好に補完されたサンプルでは誤差の増大が最小限に抑えられている。
• 収束解析により、MIRACLE の誤差は訓練エポックが進むにつれて減少しており、改善曲線の勾配が小さくなる傾向にあり、安定的かつ段階的な改善が確認された。