[論文レビュー] Technical Note: Game-Theoretic Interactions of Different Orders

Hao Zhang, Xu Cheng+2 more|arXiv (Cornell University)|Oct 28, 2020

Sports Analytics and Performance参考文献 18被引用数 8

ひとこと要約

本稿は、深層ニューラルネットワーク（DNN）における特徴相互作用を、異なる文脈的スケールにわたって複数の順序の成分に分解するゲーム理論的枠組みを提案する。シャープレー値と相互作用インデックスを活用することで、さまざまなサイズの文脈からの寄与を分離し、局所的およびグローバルな推論パターンがDNNの挙動に与える影響を明らかにする。

ABSTRACT

In this study, we define interaction components of different orders between two input variables based on game theory. We further prove that interaction components of different orders satisfy several desirable properties.

研究の動機と目的

• DNNにおける入力変数間の相互作用を、ゲーム理論を用いて異なる文脈的スケールにわたって形式的かつ定量的に定式化すること。
• 全体の特徴相互作用を、0からn−2までの異なる順序に分解し、それぞれがさまざまなサイズの文脈下での相互作用を反映すること。
• 局所的およびグローバルな相互作用効果を分離する理論的根拠に基づいた解釈可能なDNN信号処理の分解を確立すること。
• 提案された相互作用成分が線形性、対称性、有効性といった重要な公理的性質を満たすことを証明すること。
• 含み込み・除外法を用いて、正確にmサイズの文脈プレーヤーからの寄与を分離することで、混合順序効果による混同を回避した相互作用測定の純化を行うこと。

提案手法

• 各入力特徴を協力ゲームのプレーヤーとモデル化し、DNN出力をゲームの価値関数 $v: 2^N \to \mathbb{R}$ とみなす。
• 線形性、ダミー、対称性、有効性の性質を満たすシャープレー値 $\phi(i|N)$ を用いて、個々の特徴の寄与を計算する。
• 2つの特徴間の全体的相互作用 $I(i,j)$ を、$j$ を追加または削除したときの $\phi(i)$ の変化として定義する。
• $I(i,j)$ を $n-1$ 個の成分に分解する：$I(i,j) = \frac{1}{n-1}\sum_{m=0}^{n-2} I^{(m)}(i,j)$、ここで $I^{(m)}(i,j)$ はサイズ $m$ の文脈下での相互作用を捉える。
• サブセット $T$ における $i,j$ の限界寄与 $R_T(i,j)$ を用いて、含み込み・除外法を適用し、正確に $m$ サイズの文脈からの寄与を分離する純化された相互作用測定 $J^{(m)}(i,j)$ を導入する。
• recursiveな公式を導出し、$I^{(m)}(i,j)$ から $J^{(m)}(i,j)$ を効率的に推定することで、純粋順序相互作用の正確な計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DNNにおける特徴相互作用は、どのように異なる文脈的スケールにわたって体系的に分解可能か？
• RQ2 複数順序の相互作用成分が満たす性質は何か？ また、ゲーム理論の公理的基盤を保っているか？
• RQ3 相互作用成分は、正確に $m$ サイズの文脈からの寄与を分離できるか？ これにより、混合順序効果による混同を回避できるか？
• RQ4 相互作用成分は、全体のシャープレー値分解およびゲームの有効性とどのように関係しているか？
• RQ5 文脈サイズ $m$ は、DNN推論における特徴ペア $i,j$ の寄与にどのように寄与しているか？

主な発見

• 2つの入力変数間の相互作用 $I(i,j)$ は、正確に $n-1$ 個の成分 $I^{(m)}(i,j)$ に分解可能であり、それぞれがサイズ $m$ の文脈下での $i$ と $j$ の平均限界寄与を表す。
• 純化された相互作用 $J^{(m)}(i,j)$ は、正確に $m$ 個の他のプレーヤーを含む文脈からの寄与を分離し、低次および高次効果による混同を排除する。
• 相互作用成分 $I^{(m)}(i,j)$ は、線形性、ダミー、対称性、限界寄与、累積、再帰的、有効性といった重要なゲーム理論的性質を満たす。
• 再帰的性質により、完全な文脈と最小限の文脈との間の総寄与差が、すべての $I^{(m)}(i,j)$ の和に一致することが確認され、シャープレー値理論と整合する。
• 有効性の性質により、総ゲーム価値 $v(N) - v(\emptyset)$ が、すべての $\phi^{(0)}(i|N)$ と重み付き $I^{(k)}(i,j)$ 項の和によって完全に説明可能である。
• 再帰的公式 $J^{(m)}(i,j) = I^{(m)}(i,j) - \sum_{p=0}^{m-1} \binom{p}{m} \cdot J^{(p)}(i,j)$ を用いることで、集約された $I^{(m)}(i,j)$ から純粋順序相互作用を正確に計算可能である。