[論文レビュー] How to Explain Individual Classification Decisions

David Baehrens, Timon Schroeter+4 more|ArXiv.org|Dec 6, 2009

Advanced Statistical Methods and Models参考文献 39被引用数 760

ひとこと要約

本稿では、入力特徴量に関する分類確率の勾配として定義される局所的説明ベクトルを計算することにより、任意のブラックボックス分類器に対して個々の分類意思決定を説明する一般化されたフレームワークを提案する。この手法は、Parzen窓密度推定を用いて分類器を近似し、特徴量ごとの影響スコアを導出する。実世界の応用例としてドラッグ発見や数字認識においても有効性が示された。

ABSTRACT

After building a classifier with modern tools of machine learning we typically have a black box at hand that is able to predict well for unseen data. Thus, we get an answer to the question what is the most likely label of a given unseen data point. However, most methods will provide no answer why the model predicted the particular label for a single instance and what features were most influential for that particular instance. The only method that is currently able to provide such explanations are decision trees. This paper proposes a procedure which (based on a set of assumptions) allows to explain the decisions of any classification method.

研究の動機と目的

• 現代のブラックボックス分類器において、グローバルな特徴量重要度では局所的な意思決定ダイナミクスを捉えきれないという課題に対処すること。
• 特定のデータポイントが特定の分類ラベルを受けた「理由」を、単にグローバルに重要な特徴量を特定するのではなく、説明すること。
• 意思決定木にとどまらない、非線形・カーネルベース・複雑な分類器（SVM や k-NN を含む）に対しても説明能力を拡張すること。
• 1つの予測に対して、各入力特徴量の寄与度を反映する局所的・特徴量別影響スコアを生成する、実用的でモデルに依存しないアプローチを提供すること。
• ドラッグ設計など、説明がドメイン固有の化学的知識と整合する必要がある実世界のシナリオで、この手法を検証すること。

提案手法

• 説明ベクトルを、ベイズ分類器の条件付き確率分布から導出される、誤分類確率の入力特徴量に関する勾配として定義する。
• 分類器の意思決定関数を近似するために、Parzen窓密度推定を用い、元のモデルが微分可能でない場合でも局所的勾配を解析的に計算可能にする。
• テスト点における局所的説明ベクトルを、予測ラベルクラスとその補集合クラスからのトレーニングポイントの重み付き寄与の差分として計算する。
• カーネルスムージング（例：RBF カーネル）を用いて、テストインスタンス周辺の局所的密度をモデル化し、バンド幅の選択が勾配近似の忠実度に影響を与える。
• 予測クラスと補集合クラスのトレーニングポイントの和を、カーネル距離で重み付けした閉形式の式を用いて、説明ベクトルを導出する。
• パラメータ最適化のため、交差検証を用いてParzen窓の最適なバンド幅（σ）を特定する。

実験結果

リサーチクエスチョン

• RQ1 確率出力を出力しないブラックボックス分類器に対しても、個々のインスタンスに特化した説明を生成できるか？
• RQ2 SVM やガウス過程分類器のような非線形モデルにおいて、局所的説明ベクトルは特徴量の相互作用や意思決定境界をどのように反映するか？
• RQ3 グローバルな特徴量重要度手法では見えにくくなる、局所的な特徴がどのように捉えられるか？
• RQ4 ドメイン固有の知識（例：ドラッグ発見におけるトキシコフォア）と整合する説明を生成できるか？
• RQ5 Parzen窓のバンド幅の選択が、推定された説明ベクトルの品質と解釈可能性に与える影響はどの程度か？

主な発見

• 提案手法は、SVM や k-NN といった複雑なモデルに対しても、1つの予測における個々の特徴量の影響を正確に反映する局所的説明ベクトルを生成できることを示した。
• Parzen窓近似を用いた説明ベクトルは、合成データおよび実データ上で、元の分類器の非線形意思決定境界をよく再現していることが確認された。
• USPS ディジットデータセットにおいて、数字「2」の中央のループや「8」の下部ループの欠如が、分類の主要な特徴であることが同定され、人間の直観と整合的であった。
• Ames 致死性変異性データセットにおいて、説明ベクトルは既知のトキシコフォア（例：ニトロアロマチックス）が分類に大きく寄与していることを強調しており、化学分野の知識と整合していることを裏付けた。
• Parzen窓推定におけるバンド幅の選択は、説明の品質に顕著な影響を与える：小さすぎる場合はクラス内部で勾配がゼロになり、大きすぎる場合は方向性が歪み、局所的影響が正しく表現されない。
• 決定境界付近では1つの特徴量が支配的である一方で、他の領域では両者が共同で寄与するといった、局所的でインスタンス依存の特徴量関連性を、グローバル特徴量選択より効果的に捉えられることを示した。