[論文レビュー] Influence in Classification via Cooperative Game Theory

Amit Datta, Anupam Datta+2 more|arXiv (Cornell University)|Apr 30, 2015

Auction Theory and Applications参考文献 26被引用数 16

ひとこと要約

この論文は、協力ゲーム理論を用いて分類における特徴の影響力を公理的かつ新規に定式化する手法を提案する。特徴の変更が分類結果に与える影響に基づき、特徴の重要性を独自に特徴付ける。線形分類器の場合、この測度は幾何的解釈を有することが証明され、実世界の広告配信データにおいても有効性が検証された。特に、スペイン語のような言語特徴が広告ターゲティング意思決定に顕著に影響していることが示された。

ABSTRACT

A dataset has been classified by some unknown classifier into two types of points. What were the most important factors in determining the classification outcome? In this work, we employ an axiomatic approach in order to uniquely characterize an influence measure: a function that, given a set of classified points, outputs a value for each feature corresponding to its influence in determining the classification outcome. We show that our influence measure takes on an intuitive form when the unknown classifier is linear. Finally, we employ our influence measure in order to analyze the effects of user profiling on Google's online display advertising.

研究の動機と目的

• ブラックボックス分類システムにおける特徴の影響力を、内部分類器にアクセスせずに透明かつ公理的に行う手法の開発。
• 大規模データにおける分類の不透明性、特に隠れた特徴依存関係によって生じる意図しない差別の問題に対処。
• 線形モデルに限らない一般化可能なフレームワークの提供。特に、擬距離測度やデータの事前分布を含む設定にも適用可能。
• Googleのオンライン広告システムから得た実世界のユーザープロファイリングデータを用いて、影響力測度の実証的検証。
• 影響力測度が、例えば広告配信における言語嗜好のように、バイアスや顕著な影響を持つ特徴を検出できることの実証。

提案手法

• 特徴をプレーヤーとみなし、分類結果を反映する価値関数を用いて、協力ゲーム理論における特徴の影響力を関数として形式化。
• 4つの核心的公理（対称性、ダミー、非交差和、距離との整合性）を定義し、これらが影響力測度を一意に特徴付ける。
• 特徴を摂動させた際の分類出力の距離に基づく変化の重み付き和として影響力測度を導出：$\phi_i(B) = \alpha \sum_{\mathbf{a} \in B} \sum_{b \in A_i: (\mathbf{a}_{-i},b) \in B} d((\mathbf{a}_{-i},b), \mathbf{a})$。
• 一般化された設定においては、擬距離測度を用いてクラスタリングに基づく影響分解を可能にする。
• 特徴独立性（FI）および非交差和の性質を用いて、特徴プロファイルや同値クラスに沿った影響力の分解を実施。
• 行列表現と対称性に基づく証明技法を用い、公理の下で影響力測度の一意性を示した。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス分類器における特徴の公平で解釈可能な影響力測度を一意に特徴付ける公理的性質は何か？
• RQ2 元の分類器が線形の場合、影響力測度はどのように振る舞い、幾何的解釈が可能か？
• RQ3 実世界のユーザープロファイリングシステム（例：オンライン広告ターゲティング）において、バイアスを検出・定量化できるか？
• RQ4 非二値特徴、擬距離、データの事前分布を扱うフレームワークはどのように拡張可能か？
• RQ5 実証的評価において、影響力測度は直感的な振る舞いを示すか？例えば、広告配信において言語が主要要因として正しく特定されるか？

主な発見

• 影響力測度は、対称性、d-ダミー、d-非交差和、距離との整合性という4つの公理によって一意に特徴付けられる。
• 線形分類器の場合、影響力測度は分類器の重みベクトルの幾何的ノルムに一致し、直感的な解釈が可能である。
• 実世界の広告ターゲティングデータにおいて、スペイン語という言語特徴が全特徴の中で最大の影響力を示し、スペイン語話者への強いバイアスがあることが判明。
• フレームワークは二値特徴に限らず、擬距離測度を用いることでクラスタリングに基づく影響分解が可能に拡張可能。
• 特徴独立性を満たすため、異なる特徴プロファイルに沿った影響力の分解が可能。
• 実験において測度は頑健で、望ましい振る舞いを示し、特徴の摂動による影響の大きさに比例して影響力値が適切にスケーリングされる。