[論文レビュー] Interpretations are useful: penalizing explanations to align neural networks with prior knowledge

Laura Rieger, Chandan Singh+2 more|arXiv (Cornell University)|Sep 30, 2019

Explainable Artificial Intelligence (XAI)参考文献 49被引用数 37

ひとこと要約

CDEP はニューラルネットワークに対して説明ベースの正則化を追加し、モデルの説明をペナルティ化してドメイン知識と一致させ、虚偽相関への依存を減らし、タスク全体で精度と公平性を改善します。

ABSTRACT

For an explanation of a deep learning model to be effective, it must provide both insight into a model and suggest a corresponding action in order to achieve some objective. Too often, the litany of proposed explainable deep learning methods stop at the first step, providing practitioners with insight into a model, but no way to act on it. In this paper, we propose contextual decomposition explanation penalization (CDEP), a method which enables practitioners to leverage existing explanation methods in order to increase the predictive accuracy of deep learning models. In particular, when shown that a model has incorrectly assigned importance to some features, CDEP enables practitioners to correct these errors by directly regularizing the provided explanations. Using explanations provided by contextual decomposition (CD) (Murdoch et al., 2018), we demonstrate the ability of our method to increase performance on an array of toy and real datasets.

研究の動機と目的

• モデルにとっての洞察だけでなく、実用的な改善を支援する説明の必要性を動機付ける。
• 説明を通じてドメイン知識を注入する Contextual Decomposition Explanation Penalization (CDEP) を導入する。
• 説明をペナルティ化することで虚偽特徴への依存を減らし、データセットを跨ぐ汎化を改善できることを示す。
• CDEP のさまざまなアーキテクチャとタスクへの適用性と効率を示す。

提案手法

• モデルの説明とユーザー提供ターゲット expl_X との発散をペナルティ化する説明損失項を損失関数に組み込む。
• Contextual Decomposition (CD) を用いて特徴の重要度と相互作用 (beta(x_S), gamma(x)) を取得する。
• CD スコアに SoftMax を適用して確率を得、説明項の expl_X と L1 損失で比較する。
• 任意の微分可能な解釈手法へ CDEP を一般化する；正則化重みとして lambda を用いた具体的実装を提供する。
• ドメイン知識を真実の説明として組み込み、虚偽領域や顕著でない特徴を特定するルールを含む。
• 勾配ベースの説明に比べた CD ベースの寄与度の計算の計算的利点（メモリと順方向/逆方向パスの効率）を強調する。

実験結果

リサーチクエスチョン

• RQ1 CDEP を用いて説明をペナルティ化することで、予測の正確でドメインに沿った理由の学習を促せるか。
• RQ2 CDEP は偽の手掛かりへの依存を減らし、データセットのバイアスや分布シフトの下で汎化を改善するか。
• RQ3 ビジョン、言語、フェアネス関連タスクを通じて、勾配ベースのアトリビューションペナルティと比較して CDEP はどのように機能するか。
• RQ4 勾配ベースの手法と比較して CD ベース説明ペナルティの計算的利点は何か？

主な発見

• CDEP は予測性能を改善しつつ、説明を事前知識と一致させる。
• ISIC の皮膚がんで、CDEP は偽のパッチへの依存を減らし、バイアスつき・なしのテストセットの AUC と F1 を向上させる。
• ColorMNIST では、CDEP はモデルを色 cues から形状 cue にシフトさせ、バイアスデータでベースラインより高い精度を達成する。
• COMPAS では、CDEP は有害性のある有罪判決率の人種間差を、精度を犠牲にせずに減らす。
• SST では、偏ったテキストデータで訓練した場合、CDEP は注入された虚偽信号を無視して精度を改善する。