[論文レビュー] A New Interaction Index inspired by the Taylor Series

Ashish Agarwal, Kedar Dhamdhere+1 more|arXiv (Cornell University)|Feb 14, 2019

Multi-Criteria Decision Making被引用数 4

ひとこと要約

この論文は、モデルの集合的行動の多項式拡張のテイラー級数に類似した分解を用いて、サイズkまでの特徴量の相互作用を測定する、新しい相互作用帰属割り当て法「シェープリー＝テイラー指数」を導入する。この手法は、標準的なシェープリー公理に加え、新たな相互作用配分公理を追加することで公理的基盤を構築し、予測値を特徴量の相互作用に帰属付ける原理的で一貫性のある方法を提供する。実験的洞察は3つのモデルで得られた。

ABSTRACT

The attribution problem, that is the problem of attributing a model's prediction to its base features, is well-studied. We extend the notion of attribution to also apply to feature interactions. The Shapley value is a commonly used method to attribute a model's prediction to its base features. We propose a generalization of the Shapley value called Shapley-Taylor index that attributes the model's prediction to interactions of subsets of features up to some size k. The method is analogous to how the truncated Taylor Series decomposes the function value at a certain point using its derivatives at a different point. In fact, we show that the Shapley Taylor index is equal to the Taylor Series of the multilinear extension of the set-theoretic behavior of the model. We axiomatize this method using the standard Shapley axioms -- linearity, dummy, symmetry and efficiency -- and an additional axiom that we call the interaction distribution axiom. This new axiom explicitly characterizes how interactions are distributed for a class of functions that model pure interaction. We contrast the Shapley-Taylor index against the previously proposed Shapley Interaction index (cf. [9]) from the cooperative game theory literature. We also apply the Shapley Taylor index to three models and identify interesting qualitative insights.

研究の動機と目的

• 個々の特徴量への帰属割り当てを超えて、サイズkまでの特徴量の相互作用を含めたシェープリー値の拡張を図ること。
• テイラー級数の類似性を応用した原理的で一貫性のある方法を用いて、モデルの予測値を特徴量の相互作用に帰属付けること。
• 純粋な相互作用関数をモデル化するための新しい相互作用配分公理を含む、この手法の公理的特徴付けを提供すること。
• 協力ゲーム理論における既存のシェープリー相互作用指数と、提案されたシェープリー＝テイラー指数を比較すること。
• 3つの異なるモデルへの応用を通じて、この手法の定性的な解釈可能性を示すこと。

提案手法

• シェープリー＝テイラー指数は、モデルの集合的行動の多項式拡張のテイラー級数展開を基準点の周りで切り捨てることで導出される。
• この手法は、個々の特徴量だけでなく、サイズkまでの特徴量の集合に対しても予測寄与度を割り当てるという点で、シェープリー値を一般化する。
• 標準的なシェープリー公理（線形性、ダミー、対称性、有効性）を満たす。
• 純粋な相互作用効果をモデル化する関数に対して、相互作用値の割り当て方を明示的に特徴付けるために、新たな相互作用配分公理が導入される。
• モデルの行動の多項式拡張が、テイラー級数分解の基礎関数として用いられる。
• 得られたインデックスは、個々の特徴量およびそれらの相互作用からの寄与度に、一意的かつ解釈可能な分解を提供する。

実験結果

リサーチクエスチョン

• RQ1 シェープリー値は、サイズkまでの特徴量の相互作用にまで系統的に拡張され、モデルの予測値を帰属付ける方法としてどのように実現できるか？
• RQ2 公平で一貫性のある相互作用帰属割り当て手法を特徴付けるために必要な公理的性質は何か？
• RQ3 理論的基盤と解釈可能性の観点から、提案されたシェープリー＝テイラー指数は、シェープリー相互作用指数とどのように異なるか？
• RQ4 テイラー級数の類似性は、相互作用帰属割り当ての概念的および計算的枠組みをどのように改善するか？
• RQ5 実世界のモデルにシェープリー＝テイラー指数を適用することで、モデル行動に関するどのような定性的な洞察が得られるか？

主な発見

• シェープリー＝テイラー指数は、モデルの集合的行動の多項式拡張の切り捨てられたテイラー級数展開と数学的に同等である。
• この手法は標準的なシェープリー公理を満たし、相互作用配分公理の追加により一意に特徴付けられる。
• 相互作用配分公理は、純粋な相互作用効果をモデル化する関数に対して、相互作用値の割り当てを形式的に可能にする。
• シェープリー相互作用指数よりも、相互作用帰属割り当てに対してより構造的かつ理論的根拠に基づいたアプローチを提供する。
• 3つのモデルにおける実験的応用により、特徴量の相互作用パターンに関する意味のある定性的な洞察が得られ、この手法の解釈可能性と実用的有用性が示された。
• この手法により、個々の特徴量およびそれらの相互作用からの寄与度へのモデル予測の階層的分解が可能となり、モデルの透明性が向上する。