[論文レビュー] Interpreting Black Box Predictions using Fisher Kernels

Rajiv Khanna, Been Kim+2 more|arXiv (Cornell University)|Oct 23, 2018

Machine Learning and Data Classification参考文献 14被引用数 32

ひとこと要約

本稿では、Fisherカーネルと順次ベイズ台形則（SBQ）を用いて、ブラックボックスモデルの予測を解釈するモデルに依存しない手法を提案する。この手法により、理論的裏付けとスケーラビリティを備えた訓練データの選択が可能となり、テストセット全体を説明する。従来手法に比べ、データキュレーション、誤ラベル検出、要約の分野で優れた性能を示し、理論的収束保証を有する。

ABSTRACT

Research in both machine learning and psychology suggests that salient examples can help humans to interpret learning models. To this end, we take a novel look at black box interpretation of test predictions in terms of training examples. Our goal is to ask `which training examples are most responsible for a given set of predictions'? To answer this question, we make use of Fisher kernels as the defining feature embedding of each data point, combined with Sequential Bayesian Quadrature (SBQ) for efficient selection of examples. In contrast to prior work, our method is able to seamlessly handle any sized subset of test predictions in a principled way. We theoretically analyze our approach, providing novel convergence bounds for SBQ over discrete candidate atoms. Our approach recovers the application of influence functions for interpretability as a special case yielding novel insights from this connection. We also present applications of the proposed approach to three use cases: cleaning training data, fixing mislabeled examples and data summarization.

研究の動機と目的

• 個々の予測ではなく、テスト予測の集合を訓練データを用いて解釈するための体系的かつスケーラブルな手法の不足を解消すること。
• 影響関数を単一例から集合的影響へと拡張し、モデル行動の包括的解釈を可能にすること。
• 離散的候補集合上でのSBQの理論的収束バウンダリーを提供することにより、アルゴリズムの効率性とスケーラビリティを向上させること。
• 実世界のユースケースとしての実用的有効性を実証すること：訓練データのキュレーション、誤ラベル例の検出、データ要約。
• 影響関数とFisherカーネルに基づく影響の間の正式な関係を確立し、モデルのロバストネスと解釈可能性に関する新たな知見を提供すること。

提案手法

• Fisherカーネルが定める特徴空間に、すべての訓練およびテストデータポイントを埋め込む。Fisherカーネルは、データポイント間のモデル由来の類似性を符号化する。
• 順次ベイズ台形則（SBQ）を用いて、Fisherカーネル空間におけるテストセットの分布を最もよく近似する訓練例の部分集合を貪欲に選択する。
• モデル再訓練を必要とせず、勾配オラクルおよび関数評価を活用して影響スコアを計算する。
• 候補となる訓練ポイントの離散的最適化問題として選択問題を定式化し、SBQを用いてテスト分布下での期待影響を推定する。
• 離散的アトム集合上でのSBQに対する新規な収束バウンダリーを導出することで、より高速かつ信頼性の高い収束を実現し、保証付きの性能を提供する。
• 大規模データセットへの実用的適用を高めるために、定数近似比を有するSBQのスケーラブルな変種を開発する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、影響に基づく解釈を個々のテスト予測から、体系的かつスケーラブルな方法で予測の集合へと拡張できるか？
• RQ2 モデル解釈の文脈において、離散的候補集合に適用されたSBQの理論的収束挙動はいかなるものか？
• RQ3 Fisherカーネル空間は、他の類似性測度と比較して、なぜよりロバストで意味のある影響力のある訓練例の特定を可能にするのか？
• RQ4 提案手法は、データキュレーション、誤ラベル検出、データ要約といった実世界のタスクで、既存のベースラインを上回る性能を示せるか？
• RQ5 影響関数とFisherカーネルの間の関係から、モデルの解釈可能性および敵対的ロバストネスに関する何らかの新たな知見が得られるか？

主な発見

• 提案手法は、トップ自己影響力とランダム選択というベースラインを常に上回り、データキュレーションの過程で誤ラベル例の修正において、より少ないキュレート済みポイント数で高いテスト精度を達成した。
• ChemReactおよびCovTypeにおけるデータ要約タスクにおいて、Fisherカーネル＋SBQアプローチは、すべてのサブセットサイズにおいてコアセット選択およびランダムサンプリングよりも顕著に優れた予測性能（テスト対数尤度で測定）を示した。
• この手法は、影響関数アプローチを特別なケースとして回復しており、理論的基盤の妥当性を検証するとともに、影響ベースの解釈に関する新たな知見を提供した。
• 離散的集合上でのSBQに対する新規な収束バウンダリーが導出され、収束がより速く、よりスケーラブルなアルゴリズムバージョンが保証付きで実現可能となった。
• 実験的結果から、本手法は、訓練データのクリーニング、誤ラベル例の検出、大規模データセットの要約といった多様なユースケースにおいて有効であることが示された。性能劣化は最小限に抑えられた。
• Fisherカーネル空間がロバストな学習にとって不可欠であることが実証され、複数のデータセットおよびタスクにおいて、優れた一般化性能と解釈可能性を示した。