[論文レビュー] Inducing Causal Structure for Interpretable Neural Networks

Atticus Geiger, Zhengxuan Wu+6 more|arXiv (Cornell University)|Dec 1, 2021

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 4

ひとこと要約

本論文は、ニューラルネットワークの表現をシンボリックな因果モデルと整合させることで、学習中に反事後的行動を強制する微分可能手法である交換干渉訓練（IIT）を導入する。IITは、ニューラルモデルが下流タスクで優れた性能を発揮するだけでなく、意図された因果構造を実現することを保証し、視覚、自然言語、推論タスクのあらゆる分野で、マルチタスク学習やデータ拡張を上回る精度と解釈可能性を達成する。

ABSTRACT

In many areas, we have well-founded insights about causal structure that would be useful to bring into our trained models while still allowing them to learn in a data-driven fashion. To achieve this, we present the new method of interchange intervention training (IIT). In IIT, we (1) align variables in a causal model (e.g., a deterministic program or Bayesian network) with representations in a neural model and (2) train the neural model to match the counterfactual behavior of the causal model on a base input when aligned representations in both models are set to be the value they would be for a source input. IIT is fully differentiable, flexibly combines with other objectives, and guarantees that the target causal model is a causal abstraction of the neural model when its loss is zero. We evaluate IIT on a structural vision task (MNIST-PVR), a navigational language task (ReaSCAN), and a natural language inference task (MQNLI). We compare IIT against multi-task training objectives and data augmentation. In all our experiments, IIT achieves the best results and produces neural models that are more interpretable in the sense that they more successfully realize the target causal model.

研究の動機と目的

• データ駆動の学習を維持したまま、well-founded な因果知識をニューラルネットワークに統合すること。
• 既存の解釈可能性手法が訓練済みモデルの分析にとどまっているという限界に対処すること。
• 最適化が収束した際に、ニューラルモデルが目的の因果モデルを実現することを保証する学習目的を構築すること。
• 因果構造を強制することで、体系的一般化とモデルの解釈可能性が向上するかどうかを評価すること。
• 行動的性能と因果的整合性の観点から、IITをマルチタスク学習およびデータ拡張と比較すること。

提案手法

• IITは、シンボリックな因果モデル C の変数とニューラルネットワーク N の表現を一致させる。
• C の出力をゴールラベルとして用い、入力間の内部状態を入れ替える「交換干渉」を実行することで、N を C の反事後的行動に合わせて訓練する。
• 訓練目的は、入力ペair間で、ニューラルモデルの干渉出力と因果モデルの反事後的出力との間の交差エントロピーを最小化することである。
• この手法は完全に微分可能であり、マルチタスク学習やデータ拡張などの他の目的と組み合わせて使用可能である。
• 因果構造は、干渉に基づく監視によって強制され、モデルは一致する表現における反事後的摂動に対して一貫した反応を示すように訓練される。
• このアプローチは、損失がゼロである場合、因果モデルがニューラルネットワークの因果的抽象化（Beckers & Halpern, 2019）であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 予め定義されたシンボリックな因果構造を実現しつつ、高い性能を維持するようにニューラルネットワークを訓練できるか？
• RQ2 IITによる因果構造の強制は、標準的な訓練やデータ拡張に比べて、より優れた体系的一般化をもたらすか？
• RQ3 行動的精度と解釈可能性の観点から、IITはマルチタスク学習およびデータ拡張と比べてどのように差をつけるか？
• RQ4 IITは他の訓練目的と柔軟に組み合わせられ、モデルの性能と構造をさらに向上させることができるか？
• RQ5 IITは、ニューラルモデルの内部表現が意図された因果的抽象化をどれだけ正確に反映しているかをどの程度保証するか？

主な発見

• MQNLI タスクでは、IITはほぼ完璧な行動的精度（≈100%）と交換干渉精度（≈100%）を達成し、目的の因果モデルとの強い整合性を示した。
• データ拡張はほぼ完璧な行動的精度を達成したが、交換干渉精度は30–40%にとどまり、解釈可能なモデルを生成できていないことが明らかになった。
• マルチタスク学習とIITを組み合わせることで、さらに性能が向上し、相乗効果があることが示された。
• QPObj を BERT のレイヤー6以降と一致させた場合が最も良い結果をもたらし、両方の精度が高かった。
• ReaSCAN および MNIST-PVR では、IITがマルチタスクおよびデータ拡張のベースラインを上回り、体系的一般化と因果的整合性の両面で優れた性能を示した。
• IITは多様なタスクにわたり、意図された因果構造を効果的に誘導し、解釈可能なニューラルネットワークを構築する一般性と有効性を示した。