[論文レビュー] The Intriguing Properties of Model Explanations

Maruan Al-Shedivat, Avinava Dubey+1 more|arXiv (Cornell University)|Jan 30, 2018

Explainable Artificial Intelligence (XAI)参考文献 4被引用数 11

ひとこと要約

本論文は、LIMEおよびコンテキスト説明ネットワーク（CENs）によって生成される線形モデルの説明の特性を調査し、特徴量選択とノイズの影響により説明が誤解を招く可能性がある一方で、CENsによる予測と説明の共同学習により、モデル性能とサンプル効率が向上することを示している。CENsはIMDBおよび衛星を利用した貧困予測タスクで最先端の結果を達成しており、説明はモデルの挙動に関する実行可能な洞察を提供する。

ABSTRACT

Linear approximations to the decision boundary of a complex model have become one of the most popular tools for interpreting predictions. In this paper, we study such linear explanations produced either post-hoc by a few recent methods or generated along with predictions with contextual explanation networks (CENs). We focus on two questions: (i) whether linear explanations are always consistent or can be misleading, and (ii) when integrated into the prediction process, whether and how explanations affect the performance of the model. Our analysis sheds more light on certain properties of explanations produced by different methods and suggests that learning models that explain and predict jointly is often advantageous.

研究の動機と目的

• 特徴量選択とノイズの下で線形モデルの説明が一貫しているか、あるいは誤解を招く可能性があるかを評価すること。
• 説明を予測プロセスに統合した場合のモデル性能に与える影響を評価すること。
• 説明の可視化が、モデルの挙動や意思決定に関する実行可能な洞察をもたらす方法を探索すること。
• LIMEのような事後的説明手法と、CENsのようなエンドツーエンドの学習フレームワークを、頑健性と有効性の観点から比較すること。

提案手法

• 解釈可能な特徴量空間における局所的線形近似と元のモデルとの間の重み付き損失を最小化することで、LIMEを用いて事後的線形説明を生成する。
• 解釈可能な特徴量空間における距離に基づく類似度カーネルを用いて、局所的近似の近傍を定義する。
• CENsを導入し、深層エンコーダーがグローバルな説明コンポーネントの凸結合を生成することで、予測と説明を同時に学習する。
• 説明を解釈可能な特徴量の線形関数としてモデル化し、ニューラルネットワークのアテンション重みが各グローバルな説明コンポーネントの寄与度を決定する。
• 予測誤差を最小化するとともに、説明のスパarsityと一貫性を強制する統合目的関数を用いて、CENsをエンドツーエンドで訓練する。
• 衛星画像やウガンダの調査データなどの実世界のデータに対して説明を可視化し、モデルの意思決定を文脈的に解釈する。

実験結果

リサーチクエスチョン

• RQ1 特徴量選択と特徴量ノイズは、線形モデルの説明の一貫性にどのように影響するか？
• RQ2 説明生成を予測プロセスに統合することで、モデル性能と一般化性能が向上するか？
• RQ3 CENsが生成する説明は、実世界のデータセットにおけるモデル意思決定に関する信頼性があり、解釈可能な洞察を提供できるか？
• RQ4 説明と予測の共同学習は、最適化ダイナミクスとサンプル効率にどのように影響するか？

主な発見

• CENsはIMDBデータセットで最先端の性能を達成し、誤差を6.9％まで低下させ、類似モデルの前回の最良成績8.1％を顕著に下回った。
• 衛星を利用した貧困予測タスクでは、CENsは単独の調査特徴量に依存するスパース線形モデルを上回り、正答率81.5％、AUC84.2％を達成した。
• CENsは収束が早く、特に小規模データセットにおいて一般化性能に優れていることから、説明が正則化の役割を果たしていると考えられる。
• 可視化分析の結果、CENsは明確で文脈的に意味のある説明を学習していることが判明した：M1は高夜光強度の都市部に選択され、M2は農村地域に使用されている。
• モデルの説明は一貫性があり解釈可能である—LIMEとは異なり、特徴量への感受性のため誤った説明を生成する可能性がある。
• 辞書サイズが32のCENsは、各入力に対して2つのグローバルな説明コンポーネントのうち1つを明確に選択するよう学習し、貧困予測要因に関する明確で実行可能な洞察を可能にする。