[論文レビュー] A Model Explanation System: Latest Updates and Extensions

Ryan Turner|arXiv (Cornell University)|Jun 30, 2016

Imbalanced Data Classification Techniques参考文献 5被引用数 12

ひとこと要約

この論文は、予測精度を損なうことなく、ブラックボックス分類器の個別的予測に対してインスタンス固有の事後解釈を提供する一般化されたモデル解釈システム（MES）を紹介する。この手法は、解釈可能なブール式を用いたスコア最適化により、個々の予測を引き起こす最小限の特徴条件を同定する。フェイルチャート検出、顔認識、信用スコアリングの分野で、高品質で人間が理解可能な解釈を提示し、有効性を示している。

ABSTRACT

We propose a general model explanation system (MES) for "explaining" the output of black box classifiers. This paper describes extensions to Turner (2015), which is referred to frequently in the text. We use the motivating example of a classifier trained to detect fraud in a credit card transaction history. The key aspect is that we provide explanations applicable to a single prediction, rather than provide an interpretable set of parameters. We focus on explaining positive predictions (alerts). However, the presented methodology is symmetrically applicable to negative predictions.

研究の動機と目的

• 予測性能が優れたブラックボックスモデルの個別的予測を人間が理解できる形で解釈する必要に応えること、特にフェイルチャート検出や信用スコアリングなどの高リスク分野において。
• 予測精度とモデルの解釈性の間の葛藤を解消し、元のモデルの再訓練や単純化を必要としない解釈を提供すること。
• 人間の推論に整合する最小限で解釈可能な特徴条件を用いて、個々の予測（グローバルなモデル挙動ではなく）を解釈するフレームワークを開発すること。
• 確率的でないハードラベルのブラックボックス、例えば深層学習やSVMに対しても動作するように、既存の解釈手法を拡張すること。
• コンピュータビジョンや表形式データを含む多様な応用分野において、本手法の汎用性と有効性を実証すること。

提案手法

• MESフレームワークは、説明Eと分類器fとの間の共分散を測るスコア関数S(E)として定義される。このスコア関数は、入力分布全体にわたってEが分類器の出力をどれだけうまく予測できるかを測定する。
• 説明Eは最適化により選択される：E* = argmax_E S(E) かつ E(x) = 1 とすることで、特定の入力xに対して正確かつ意味のある説明が保証される。
• 入力分布p(x)が既知またはサンプリング可能である場合、スコアS(E)の推定にモンテカルロサンプリングを用いる。これにより、実世界のデータへの適用が可能になる。
• 軸に沿った説明（例：特徴量のしきい値）と、より複雑な非軸に沿った形式（例：特徴量の線形結合）の両方をサポートする。効率を向上させるために二段階アルゴリズムを採用する。
• フレームワークは対称的である。分類器のラベルを反転させることで、正例（1）と負例（0）の両方の予測を解釈できる。
• モデルのパrameterや勾配にアクセスする必要がないため、SVM、ディープニューラルネットワーク、ロジスティック回帰など、任意のクエリ可能なブラックボックスモデルと統合可能である。

実験結果

リサーチクエスチョン

• RQ1 モデル解釈システムは、予測性能を損なわず、ブラックボックス分類器の個別的予測に対して正確な解釈を提供できるか？
• RQ2 SVM やディープニューラルネットワークのような確率的でないハードラベルモデルに対して、どのようにして解釈を生成できるか？
• RQ3 説明と分類器出力の共分散に基づくスコア関数を用いることで、どの程度まで説明の質を最適化できるか？
• RQ4 本フレームワークは、顔認識や信用スコアリングのような複雑なモデルにおいて、明らかでないが高影響力のある特徴を特定できるか？
• RQ5 MESの説明は、L1正則化や特徴量の重要度といったグローバル解釈手法と比較して、局所的な予測挙動をどの程度うまく捉えられるか？

主な発見

• 顔認識の例では、MESはSVM分類器が顔のアイデンティティそのものよりも、顎の左側や左目の下の影のような微細な照明パターンに強く依存していることを同定した。
• ドイツの信用スコアデータセットでは、最も頻出する説明は「信用履歴」と「口座状態」に由来しており、テスト予測の99％を説明した。トップの説明のスコアは0.491であった。
• 短期間のローン（22か月未満）の説明は頻度が低かった（1％）が、スコアは中程度（0.244）であり、低リスクのサブグループでのみ寄与している可能性を示唆した。
• 信用履歴と口座状態の2つの特徴に制限したL1正則化付きロジスティック回帰モデルは、テスト点の22.4％で元のモデルと食い違い、グローバル解釈手法が局所的予測を歪める可能性があることを示した。
• 拡張されたMESフレームワークは、画像ベースの非軸に沿った説明（例：線形テンプレート）を効果的に生成し、顔の関連領域を視覚的に強調することで、単なる特徴量しきい値を越えた解釈性の向上を達成した。
• スコアベースの最適化は一貫してS(E) ∈ [0,1]の説明を選択し、真の分類器fはS(f) = 1、ノイズのない説明E₀はS(E₀) = 0を達成した。これにより、スコアの理論的整合性が検証された。