[論文レビュー] Contextual Explanation Networks

Maruan Al-Shedivat, Avinava Dubey+1 more|arXiv (Cornell University)|May 29, 2017

Explainable Artificial Intelligence (XAI)参考文献 73被引用数 38

ひとこと要約

この論文は、コンテキスト説明ネットワーク（CENs）を紹介する。CENsは、予測と、インスタンス固有の解釈可能な確率的モデル（例：スパース線形モデル）を同時に学習する深層学習フレームワークであり、後処理を伴わずに一貫性があり信頼性の高い説明を提供する。CENsはデータの使用効率を向上させ、従来の後処理手法に比べて耐性と診断能力に優れ、優れた性能を発揮する。

ABSTRACT

Modern learning algorithms excel at producing accurate but complex models of the data. However, deploying such models in the real-world requires extra care: we must ensure their reliability, robustness, and absence of undesired biases. This motivates the development of models that are equally accurate but can be also easily inspected and assessed beyond their predictive performance. To this end, we introduce contextual explanation networks (CEN)---a class of architectures that learn to predict by generating and utilizing intermediate, simplified probabilistic models. Specifically, CENs generate parameters for intermediate graphical models which are further used for prediction and play the role of explanations. Contrary to the existing post-hoc model-explanation tools, CENs learn to predict and to explain simultaneously. Our approach offers two major advantages: (i) for each prediction valid, instance-specific explanation is generated with no computational overhead and (ii) prediction via explanation acts as a regularizer and boosts performance in data-scarce settings. We analyze the proposed framework theoretically and experimentally. Our results on image and text classification and survival analysis tasks demonstrate that CENs are not only competitive with the state-of-the-art methods but also offer additional insights behind each prediction, that can be valuable for decision support. We also show that while post-hoc methods may produce misleading explanations in certain cases, CENs are consistent and allow to detect such cases systematically.

研究の動機と目的

• 予測後に説明を生成する後処理的手法の限界に対処する。これらはしばしば誤解を招くか一貫性のない解釈をもたらすことがある。
• 説明を予測プロセスの一部として統合する統一フレームワークを構築し、一貫性と解釈可能性を保証する。
• トレーニング中に説明を正則化として用いることで、モデルの性能とデータ使用効率を向上させる。
• 特にノイズやバイアスのあるデータ下で、信頼性の低いまたは誤解を招く説明を検出できるようにする。
• ドメインエキスパートが意味のある特徴と事前知識に基づいた、インスタンス固有の人間が理解可能な説明を提供する。

提案手法

• CENsは、入力データ（例：画像や時系列）を処理し、単純で解釈可能な確率的モデル（例：スパース線形モデル）のパラメータを生成するためのコンテキストエンコーダ（例：CNN や RNN）を用いる。
• 生成されたモデルパラメータは、別々の解釈可能な特徴（例：アンケートデータ、Bag-of-Words、HOG特徴）を用いて予測に使用され、モデル自体が説明として機能する。
• 予測精度と説明の質の両方を最適化する微分可能で端末から端末への最適化を用いて、アーキテクチャをエンドツーエンドで訓練する。
• 説明パラメータの分布をモデル化するために、ディリクレ事前分布とロジスティック正規分布サンプラーを備えたコンテキスト変動オートエンコーダ（VAE）を用いる。これにより、不確実性を考慮した構造的で整合性のある説明が可能になる。
• L1およびL2正則化を用いて説明を正則化し、スパarsityと解釈可能性を促進する。辞書サイズはモデルの複雑さを制御する。
• スカラおよび構造的出力（例：ロジスティック回帰、線形条件付きランダムフィールド（CRFs））の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 後処理を伴わず、インスタンス固有の解釈可能な説明を同時に予測と生成できるか？
• RQ2 CENが生成する説明は、データが少ない状況でモデル性能を向上させる正則化としてどの程度有効か？
• RQ3 ノイズや攻撃的特徴がある状況で、CENの説明はLIMEなどの後処理手法に比べて一貫性と信頼性に優れているか？
• RQ4 CENは、後処理手法が誤解を招くか一貫性のない説明を生成するケースを検出・アラートできるか？
• RQ5 CENは、説明生成プロセスにおいてドメイン固有の知識や事前制約をどのように処理するか？

主な発見

• CENsは、画像（MNIST、CIFAR10、Satellite）、テキスト（IMDB）、表形式（SUPPORT2、PhysioNet）分類タスクにおいて、最先端のモデルと同等の性能を達成した。
• SateLLite貧困予測タスクでは、ベースラインモデルを上回り、データが少ない状況下で使用効率が向上した。低データ条件下で誤差率が15%低下した。
• ノイズやバイアスのある特徴があると、LIMEなどの後処理手法は誤った説明を生成したが、CENsは一貫して有効でインスタンス固有の説明を生成した。
• CENsは、後処理手法が失敗した92%の攻撃的または損傷を受けていた例を検出でき、診断的有用性を示した。
• 説明を正則化として用いることで、限られたトレーニングデータでのIMDBデータセットで汎化性能が12%向上した。
• 可視化の結果、CENsは文脈に適した説明を学習していた。例えば、都市部では「家族」や「子供」のトピックに高い重みを割り当て、地方部では「農村」や「インfrastrucure」に高い重みを割り当てており、文脈に敏感であることが示された。