[論文レビュー] Granger-causal Attentive Mixtures of Experts.

Patrick Schwab, Walter Karlen|arXiv (Cornell University)|Feb 6, 2018

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 5

ひとこと要約

本稿では、予測精度と定量的特徴量重要度を同時に最適化するための、Granger因果的注意メカニズムを備えたエキスパートの混合（AME）というニューラルネットワークアーキテクチャを提案する。注意ゲーティングと因果的特徴量帰属を統合することで、解釈可能で比較可能かつ信頼性のある意思決定の説明が可能となり、処方需要、パーキンソン病、がんゲノム解析を含む医療予測タスクで実証された。

ABSTRACT

Several methods have recently been proposed to detect salient input features for outputs of neural networks. Those methods offer a qualitative glimpse at feature importance, but they fall short of providing quantifiable attributions that can be compared across decisions and measures of the expected quality of their explanations. To address these shortcomings, we present an attentive mixture of experts (AME) that couples attentive gating with a Granger-causal objective to jointly produce accurate predictions as well as measures of feature importance. We demonstrate the utility of AMEs by determining factors driving demand for medical prescriptions, comparing predictive features for Parkinson's disease and pinpointing discriminatory genes across cancer types.

研究の動機と目的

• 既存のニューラルネットワーク解釈手法における定量的で比較可能な特徴量重要度測定の欠如に対処すること。
• 正確な予測と信頼性があり解釈可能な特徴量帰属を同時に生成する統合フレームワークの開発。
• 注意メカニズムを備えたエキスパートの混合アーキテクチャにGranger因果的目的関数を組み込むことで、入力特徴量の因果的解釈を可能にすること。
• 測定可能な品質を持つ特徴量重要度の比較が可能な手法を提供すること。

提案手法

• モデルは、入力の関連性に基づいて入力を専門的なエキスパートネットワークに動的にルーティングする注意ゲーティング機構を採用する。
• 訓練プロセスにGranger因果的目的関数を統合し、選択された特徴量が出力変化の前触れとして時間的に先行し予測に寄与することを保証することで、因果的帰属を可能にする。
• エキスパートの混合アーキテクチャにより、各予測ごとに異なる入力特徴量に重みを付けることが可能となり、解釈性が向上する。
• 注意重みは予測精度だけでなく因果的関連性に対しても最適化され、重要な特徴量が一貫して特定される。
• 予測損失とGranger因果的正則化を組み合わせた統合損失関数を用いて、エンドツーエンドで訓練する。
• 得られた注意重みは、異なる予測間で比較可能な定量的特徴量重要度の測定値として機能する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャが、因果的解釈性を備えた予測精度と定量的特徴量重要度を同時に最適化できるか？
• RQ2 AMEモデルの注意重みは、既存のサリエンシー手法と比較して信頼性と解釈性においてどのように異なるか？
• RQ3 Granger因果的目的関数が、医療予測タスクにおける特徴量帰属の質をどの程度向上できるか？
• RQ4 帰属された特徴量は、パーキンソン病とがんゲノム解析において、既知の生物学的および臨床的要因とどの程度整合するか？
• RQ5 モデルの特徴量重要度スコアは、異なる予測や意思決定間で意味的に比較可能か？

主な発見

• AMEモデルは、意思決定間で比較可能な定量的特徴量重要度スコアを生成しながら、正確な予測を達成した。
• Granger因果的目的関数は、時間的に先行し予測に寄与する特徴量を効果的に同定し、帰属の信頼性を向上させた。
• 処方需要予測において、患者の履歴や薬剤タイプといった臨床的関連要因が、高い帰属信頼度で特定された。
• パーキンソン病の解析では、既知のバイオマーカーや病状進行パターンと整合する特徴量が強調された。
• がんゲノム解析では、がん種別を特徴付ける差別的遺伝子が特定され、既知のがんマーカーと整合した。
• 注意重みは、比較性と信頼性において定性的なサリエンシー手法を上回る安定的かつ解釈可能な特徴量重要度の測定値を提供した。