[論文レビュー] Inverse Classification for Comparison-based Interpretability in Machine Learning

Thibault Laugel, Marie‐Jeanne Lesot+3 more|arXiv (Cornell University)|Dec 22, 2017

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 46

ひとこと要約

本稿では、モデルや訓練データに依存しない後処理型の解釈可能性手法であるGrowing Spheresを提案する。この手法は、スパarsity制約付きの距離計測基準下で、予測クラスとは逆のクラスに属する最近傍（反事実例）を特定することで、個々の分類器の予測を解釈する。スパースで比較ベースの説明を生成するために、入力空間において球体を段階的に拡大するアルゴリズムを用い、予測を反転させる最小の摂動を特定する。画像データおよび表形式データの両方で有効性を示し、スパース性が非常に高い（使用される特徴量が≤7.9%）。

ABSTRACT

In the context of post-hoc interpretability, this paper addresses the task of explaining the prediction of a classifier, considering the case where no information is available, neither on the classifier itself, nor on the processed data (neither the training nor the test data). It proposes an instance-based approach whose principle consists in determining the minimal changes needed to alter a prediction: given a data point whose classification must be explained, the proposed method consists in identifying a close neighbour classified differently, where the closeness definition integrates a sparsity constraint. This principle is implemented using observation generation in the Growing Spheres algorithm. Experimental results on two datasets illustrate the relevance of the proposed approach that can be used to gain knowledge about the classifier.

研究の動機と目的

• モデルや訓練データの情報が一切入手できない状況下で、ブラックボックス分類器の予測を解釈する課題に対処すること。
• 異なるクラスに属する最近傍のインスタンスと比較することで、個々の予測を解釈する後処理型の解釈可能性アプローチを開発すること。
• 距離計測基準にスパarsity制約を組み込むことで、説明がスパースかつ局所的に意味を持つようにすること。
• モデルの内部構造や訓練データに依存せずに、複雑な分類器の局所的決定境界に関する洞察を提供すること。
• 実世界のデータセットを用いて手法を検証し、分類器の挙動（潜在的なバイアスや誤りを含む）を明らかにできることを示すこと。

提案手法

• 本手法は、スパarsity制約付きの距離計測基準下で、入力インスタンスの分類予測を反転させる最小摂動を特定するという説明タスクを定式化する。
• 入力インスタンスの周囲にヒューパースフィアを段階的に拡大することで、最近傍の反事実インスタンス（異なるクラスに属する点）を同定する「Growing Spheres」アルゴリズムを採用する。
• 分類器の出力を根拠にした制御された摂動によって新しい観測値を生成する局所探索戦略を用いる。
• コスト関数は、元のインスタンスとの近接性と摂動のスパarsityの両方をバランスさせ、わずかに少数の特徴量を変更する説明を優遇する。
• 反事実インスタンスが発見された段階で探索を終了し、説明が近接かつスパースであることを保証する。
• 本手法は完全にモデルに依存せず、分類器への推論アクセスのみを必要とし、アーキテクチャや訓練データは不要である。

実験結果

リサーチクエスチョン

• RQ1 モデルの内部構造や訓練データにアクセスできない状況で、ブラックボックス分類器の1つの予測をどのように解釈できるか？
• RQ2 スパースで局所的に関連性のある反事実説明を生成するための最も効果的な方法は何か？
• RQ3 Growing Spheresのような生成的かつインスタンスベースのアプローチは、分類器の予測を反転させる最小摂動を信頼性高く特定できるか？
• RQ4 モデルが複雑であったり非線形であったりしても、生成された説明は局所的決定境界をどれほど正確に反映しているか？
• RQ5 特に文字認識のような視覚的に意味のあるタスクにおいて、説明は人間の直感と比較して、特徴量の重要性をどの程度適切に反映しているか？

主な発見

• Growing Spheresアルゴリズムは、予測を反転させるために最小限でスパースな摂動を要する反事実インスタンスを成功裏に同定した。テストインスタンスの100%が最大62個の特徴量（全特徴量の7.9%）で説明可能であった。
• 数字分類タスクにおいて、8と9の間で予測が反転する要因として、数字の左下領域（例えば、ループの閉じる・開ける）の変更が最も影響を及ぼすことを正しく特定した。
• 高い分類器の精度（AUC 0.98）にもかかわらず、上部右隅のピクセル変更が影響を及ぼすと判断する非直感的な挙動を示し、決定境界の不正確さを示唆した。
• 生成された反事実例は常に視覚的に妥当とは限らず（例：ノイズや歪みのある数字）、分類器が人間の概念理解とは異なる決定境界を学習している可能性を示唆した。
• ニュース人気予測タスクにおいて、モデルにアクセスできない状況でも、局所的に重要な特徴量を特定する有意義な洞察を提供した。
• 本手法は実世界の応用において、強固さと解釈可能性を示し、データおよびモデルに依存しない環境でブラックボックス分類器に関する知識を獲得するうえでの有効性を確認した。