[論文レビュー] Preventing Failures Due to Dataset Shift: Learning Predictive Models That Transport

Adarsh Subbaswamy, Peter Schulam+1 more|arXiv (Cornell University)|Dec 11, 2018

Machine Learning in Healthcare被引用数 80

ひとこと要約

論文は、因果ダグの介入分布から同定した選択変数を持つ環境間で異なるデータ生成機構を持つ環境へ交通する安定な予測モデルを学ぶ Graph Surgery を提案する。

ABSTRACT

Classical supervised learning produces unreliable models when training and target distributions differ, with most existing solutions requiring samples from the target domain. We propose a proactive approach which learns a relationship in the training domain that will generalize to the target domain by incorporating prior knowledge of aspects of the data generating process that are expected to differ as expressed in a causal selection diagram. Specifically, we remove variables generated by unstable mechanisms from the joint factorization to yield the Surgery Estimator---an interventional distribution that is invariant to the differences across environments. We prove that the surgery estimator finds stable relationships in strictly more scenarios than previous approaches which only consider conditional relationships, and demonstrate this in simulated experiments. We also evaluate on real world data for which the true causal diagram is unknown, performing competitively against entirely data-driven approaches.

研究の動機と目的

• データ生成プロセスが異なるトレーニングとデプロイ環境で信頼性を動機づける。
• 因果的事前知識を用いて輸送可能な予測子を構築するプロアクティブな方法を導入する。
• Graph Surgery 推定量を開発し、環境を跨ぐ安定な介入分布を得る。
• 推定量の健全性と完全性を証明し、グラフプルーニングと分布的ロバスト性との関連を示す。

提案手法

• 環境ごとに変化する機構をモデル化するために選択ダイアグラムを用い、mutable 変数 M を選択ノード S の子として同定する。
• ADMG に対して ID アルゴリズムを適用し、ターゲット T を予測する介入分布を同定する。
• M（および場合によっては T）に介入して可能な介入分布を列挙し、ホールドアウトのソース環境検証を通して最も識別可能なものを選択する。
• グラフプルーニングはグラフ手術の特殊ケースであり、手術は環境間の分布的ロバスト性を最適化することを示す。
• 理論的保証を提供する：健全性（安定した推定量）と完全性（安定な手術推定量が存在する場合の存在性）。
• アプローチを環境分布 Γ におけるミニマックスのロバスト性へ結びつける。

実験結果

リサーチクエスチョン

• RQ1 ターゲット領域データにアクセスせずに、環境変化メカニズムに対して予測モデルを安定化できるか。
• RQ2 選択機構が環境ごとに異なる場合、介入分布を通じて mutable 変数を介入すると安定した予測が得られるか。
• RQ3 どのシナリオでグラフ手術はグラフプルーニングや他の反応的ドメイン適応手法よりも厳しく優れているか。
• RQ4 グラフ手術はデータセットシフト下の分布的ロバスト性とミニマックス最適性とどう関連するか。

主な発見

Test Data	OLS	AR	CT	Surgery
Season 1	20.8 ± 0.10	20.5 ± 0.10	42.2 ± 2.04	20.7 ± 0.36
Season 2	23.2 ± 0.05	23.2 ± 0.05	29.9 ± 0.09	23.8 ± 0.09
Season 3	32.2 ± 0.14	31.4 ± 0.13	32.2 ± 0.14	29.9 ± 0.26
Season 4	29.2 ± 0.08	29.1 ± 0.08	29.1 ± 0.08	28.2

• グラフ手術は選択機構に対して不変な安定な予測子を生み出し、ターゲット変数が可変であるターゲットシフトにも対処できる。
• グラフプルーニングはグラフ手術の特殊ケースであり、手術はプルーニングを一般化し、プルーニングが失敗する場面で成功し得る。
• シミュレーションでは、手術は未知の環境変化に対してOLSやCT（因果転移学習）などの競合手法よりも一般化する。
• Bike Sharing データでは、手術は他の代替案と比較して競争力のある MSE を達成し、いくつかのテスト分割で最高を示す；AR は一部設定で依然として強力だがアンカー仮定を必要とする。
• 理論的結果は、手術が安定な介入予測子を同定するための健全性と完全性を満たし、安定に直接輸送可能な関係の中でミニマックス最適性を持つことを示す。