[論文レビュー] Causality-aware counterfactual confounding adjustment for feature representations learned by deep models

Elias Chaibub Neto|arXiv (Cornell University)|Apr 20, 2020

Bayesian Modeling and Causal Inference参考文献 43被引用数 6

ひとこと要約

本稿では、ソフトマックス出力を備えた深層ニューラルネットワーク（DNN）における線形モデリングステップを活用することで、DNN特徴表現に対する因果関係に配慮した反事実的交絡調整手法を提案する。最終層の直前である特徴量（ペンルティメートレイヤー特徴）はラベルと線形関連しているため、反事実的手法を用いて線形交絡調整を実施し、データセットシフト下でもモデルの安定性が著しく向上する一方、シフトが存在しない場合には性能を維持する。

ABSTRACT

Causal modeling has been recognized as a potential solution to many challenging problems in machine learning (ML). Here, we describe how a recently proposed counterfactual approach developed to deconfound linear structural causal models can still be used to deconfound the feature representations learned by deep neural network (DNN) models. The key insight is that by training an accurate DNN using softmax activation at the classification layer, and then adopting the representation learned by the last layer prior to the output layer as our features, we have that, by construction, the learned features will fit well a (multi-class) logistic regression model, and will be linearly associated with the labels. As a consequence, deconfounding approaches based on simple linear models can be used to deconfound the feature representations learned by DNNs. We validate the proposed methodology using colored versions of the MNIST dataset. Our results illustrate how the approach can effectively combat confounding and improve model stability in the context of dataset shifts generated by selection biases.

研究の動機と目的

• トレーニングデータにおける交絡要因や選択バイアスによって引き起こされるDNNにおける誤った相関関係の問題に対処すること。
• 元々線形構造的因果モデルを想定して設計された反事実的交絡調整手法を、深層特徴表現に適応すること。
• 学習済み表現の交絡除去により、データセットシフト下におけるモデルの汎化性能と安定性を向上させること。
• 反事実的調整を施したDNN特徴が、SMOTEのようなデータバランス化手法よりも予測安定性を維持できることを検証すること。
• DNNの再トレーニングを必要としない、実用的で侵襲のないDNN特徴の交絡除去手法を提供すること。

提案手法

• 出力層にソフトマックス活性化関数を備えた深層ニューラルネットワークを訓練し、最終層の直前である隠れ層特徴がクラスラベルと線形関連することを保証する。
• ソフトマックス出力の直前の最後の隠れ層からの特徴表現を、交絡調整の入力として抽出する。
• 観察された交絡要因（例：MNISTにおける画像の色）を用いて、特徴量の線形モデリングに基づく反事実的交絡調整手法を適用し、予測の交絡を除去する。
• 特徴量、交絡要因、ラベルの間の関係を線形回帰でモデル化し、交絡要因の影響を除去した反事実的特徴量を生成する。
• 条件付き独立性検定を用いて調整の有効性を評価：真のラベルを条件とした場合に、調整済み特徴量と交絡要因が独立であるかを確認する。
• 部分相関分析を用いた実証的 sanity check を実施し、ラベルを条件とした場合に調整済み特徴量が交絡要因と条件付き独立であることを検証する。

実験結果

リサーチクエスチョン

• RQ1 線形モデルを想定して設計された反事実的交絡調整手法を、深層ニューラルネットワークが学習する特徴表現に効果的に適用できるか？
• RQ2 DNN特徴の反事実的調整により、選択バイアスによって引き起こされるデータセットシフト下でのモデル安定性が向上するか？
• RQ3 予測安定性という観点から、本手法はSMOTEのようなデータバランス化手法と比較して優れているか？
• RQ4 条件付き独立性テストを通じて、反事実的調整の有効性を実証的に検証できるか？
• RQ5 交絡が存在しない、すなわち交絡要因が予測に寄与する状況においても、本手法は性能を維持するか？

主な発見

• 部分相関分析の結果、真のラベルを条件とした場合に、調整済み特徴量と交絡要因との間の相関が真にゼロのまわりに集中しており、交絡効果が有効に除去されたことが示された。
• 反事実的調整済み特徴量を用いて訓練された分類器は、すべてのレベルのデータセットシフト下でも強く汎化性能を維持した一方、未調整モデルは著しく劣化した。
• データセットシフトが存在しない状況（色が予測に寄与する状況）では、反事実的調整により性能が低下した—これは、誤った相関関係が成功裏に抑制されたことを確認するものであった。
• シフト下における予測安定性という観点から、本手法はSMOTEに基づくバランス化手法を上回った。トレーニングおよびテスト特徴量の両方の交絡除去の利点を示した。
• 本手法は計算的に軽量であり、事前学習済みDNN特徴量上で線形回帰のフィットを実行するのみで、DNNの再トレーニングを必要としない。
• 条件付き独立性のパターンを用いた実証的 sanity check により、調整が望ましい統計的性質を達成していることが確認され、有効性が検証された。