[論文レビュー] A Characterization of Monotone Influence Measures for Data Classification.

Jakub Śliwiński, Martin Strobel+1 more|arXiv (Cornell University)|Aug 7, 2017

Machine Learning and Data Classification被引用数 10

ひとこと要約

この論文は、下位の分類器に問い合わせることなく、データセットのみを用いて個々のデータポイントの特徴の重要性を定量化する、単調性を満たす影響測度の族を導入する。公理の集合から導出されたこの手法は、解釈可能でデータのみに依存する説明を提供し、実世界のデータセットでも有効である。分類タスクにおける特徴の影響分析のための、新たなクエリフリーなアプローチを提供する。

ABSTRACT

In this work we focus on the following question: how important was the i-th feature in determining the outcome for a given datapoint? We identify a family of influence measures; functions that, given a datapoint x, assign a value phi_i(x) to every feature i, which roughly corresponds to that i's importance in determining the outcome for x. This family is uniquely derived from a set of axioms: desirable properties that any reasonable influence measure should satisfy. Departing from prior work on influence measures, we assume no knowledge of - or access to - the underlying classifier labelling the dataset. In other words, our influence measures are based on the dataset alone, and do not make any queries to the classifier. While this requirement naturally limits the scope of explanations we provide, we show that it is effective on real datasets.

研究の動機と目的

• 分類タスクにおける個々のデータポイントに対する特徴の影響を、原理的で公理的な枠組みで測定すること。
• 下位の分類器へのアクセスや問い合わせを一切必要としない、データセットにのみ依存する影響測度の開発。
• 形式的な公理を通じて、単調性や一貫性といった望ましい性質を満たす影響測度の確保。
• 実世界のシナリオに適用可能な、解釈可能でデータ駆動型の特徴の重要性の説明を提供すること。

提案手法

• 影響関数の望ましい性質を形式化する公理の集合から、影響測度の族を導出する。
• 分類器の内部構造や予測関数へのアクセスを仮定せず、観測されたデータポイントとそのラベルにのみ依存する。
• 特徴 i がデータポイント x に対して与える影響測度を phi_i(x) と表記し、データセット全体における特徴 i と目的変数との統計的関係に基づいて計算する。
• 単調性を保証する：特徴が予測により多く寄与する場合、その影響測度もそれに応じて増加する。
• 分類器の問い合わせを必要とせず、計算が効率的かつ実世界のデータセットにスケーラブルに適合するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 特徴の影響測度が妥当で解釈可能とされるために満たすべき性質は何か？
• RQ2 分類器にアクセスせずに、データセットのみから信頼性のある影響測度を導出できるか？
• RQ3 提案された公理的枠組みは、どのように単調で一貫性のある特徴の重要性評価を保証するか？
• RQ4 データのみに依存する影響測度は、実際の分類結果をどの程度説明できるか？

主な発見

• 提案された影響測度は、一意に公理の集合から導出され、一貫性と解釈可能性が保証される。
• 分類器の問い合わせを一切行わずに、実データセットにおいても効果的な説明品質を達成する。
• 影響測度は単調な挙動を示し、予測への寄与度が高いほど影響スコアも高くなる。
• ブラックボックスまたはアクセス制限がある環境において、クエリベースの影響手法の実用的代替手段を提供する。