[論文レビュー] Matching Learned Causal Effects of Neural Networks with Domain Priors

Sai Srinivas Kancheti, Abbavaram Gowtham Reddy+2 more|arXiv (Cornell University)|Nov 24, 2021

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

本稿では、モデルの因果的効果と専門家が提供する事前関数の勾配マッチングを通じて、学習された因果的効果をドメイン事前知識と一致させるニューラルネットワーク正則化手法CREDOを提案する。この手法は、12のベンチマークデータセットにおいて高い精度を維持しながら、モデルの頑健性と公平性を向上させる。

ABSTRACT

A trained neural network can be interpreted as a structural causal model (SCM) that provides the effect of changing input variables on the model's output. However, if training data contains both causal and correlational relationships, a model that optimizes prediction accuracy may not necessarily learn the true causal relationships between input and output variables. On the other hand, expert users often have prior knowledge of the causal relationship between certain input variables and output from domain knowledge. Therefore, we propose a regularization method that aligns the learned causal effects of a neural network with domain priors, including both direct and total causal effects. We show that this approach can generalize to different kinds of domain priors, including monotonicity of causal effect of an input variable on output or zero causal effect of a variable on output for purposes of fairness. Our experiments on twelve benchmark datasets show its utility in regularizing a neural network model to maintain desired causal effects, without compromising on accuracy. Importantly, we also show that a model thus trained is robust and gets improved accuracy on noisy inputs.

研究の動機と目的

• トレーニングデータに因果的パターンと相関的パターンの両方が含まれる場合、ニューラルネットワークが真の因果関係ではなく誤った相関関係を学習してしまうという限界に対処すること。
• 専門家が因果的効果に関する知識（例えば単調性、ゼロ効果、特定の関数形）をニューラルネットワークの学習に組み込めるようにすること。
• 直接的因果効果と総合的因果効果を区別し、正則化することで、より正確で信頼性の高いモデル行動を実現すること。
• 正しい因果構造を強制することで、ノイズの多い入力や分布外データに対するモデルの頑健性を向上させること。
• 保護属性の予測に対する因果的効果をゼロにすることで、機械学習における公平性を向上させること

提案手法

• ニューラルネットワーク出力の入力特徴量に関する勾配として、直接的因果効果および総合的因果効果を形式化する。
• 専門家の知識を反映した、期待される因果的効果の形状や符号（例：正、負、単調、ゼロ）を表現できる微分可能なドメイン事前関数を定義する。
• ニューラルネットワークの因果的効果の勾配とドメイン事前関数の勾配の間のL2距離を最小化する勾配マッチング正則化項を導入する。
• 標準的な予測損失と因果正則化損失を組み合わせた複合損失関数を最適化することでニューラルネットワークを学習する。
• 計算グラフ上の関連パスを走査することで、直接的因果効果および総合的因果効果の両方の正則化を実現する。
• 柔軟な事前知識のサポート：ユーザーは関数形（例：収穫逓減、U字型曲線）を含め、部分的または完全な因果的知識を指定可能

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータに交絡相関が含まれる状況下でも、ニューラルネットワークが専門家が提供するドメイン事前知識に一致する因果的効果を学習できるか？
• RQ2 学習された因果的効果とドメイン事前知識との間の勾配マッチングが、ノイズの多い入力や分布外データに対するモデルの頑健性をどのように向上させるか？
• RQ3 本手法により、予測精度を低下させることなく、保護属性の因果的効果をゼロに設定することで公平性を強制できるか？
• RQ4 未知または複雑な因果グラフと多様な種類のドメイン事前知識を持つ多様なデータセットに対しても、本手法は一般化可能か？
• RQ5 公平性指標と因果帰属度の両面で、既存の公平性アルゴリズムと比較して本手法はどのように優れているか？

主な発見

• CREDOは、COMPAS、AutoMPG、Boston Housingを含む12のベンチマークデータセットにおいて、最小限の精度低下でドメイン事前知識を因果的効果に強制できた。
• SANGIOVESEおよびAutoMPGデータセットでは、ガウスノイズの分散が1.0に増加する条件下でも、CREDOモデルがERMより高い精度を維持し、頑健性の向上を示した。
• 公平性評価において、CREDOはCOMPASデータセットにおけるアフリカ系アメリカ人対白人個人の差別的影響（Disparate Impact）を、ERMの0.77から0.84に改善し、代理差別の低減を示した。
• Bostom Housingデータセットでは、CREDOがブラックコミュニティのACDE（平均的直接因果効果）を0.00（ERMは0.10）に達成し、標準的な公平性手法よりも優れた因果帰属度を示した。
• CREDOはデモグラフィックパリティ差分を0.66に達成し、ERM（0.86）を上回り、EG（0.45）と同等の性能を示したが、因果的整合性をより良く保った。
• アブレーションスタディにより、正則化強度と事前知識の正確性が性能に顕著に影響することが確認され、誤った事前知識は精度の低下を引き起こした。