[論文レビュー] Interpreting Multivariate Interactions in DNNs

Hao Zhang, Yichen Xie+3 more|arXiv (Cornell University)|Oct 10, 2020

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、シャープレイ値を用いて入力変数間の多次元相互作用を定量化することにより、深層ニューラルネットワーク（DNNs）の解釈手法を提案する。強い相互作用を持つ特徴の集合（コалиション）がプロトタイプ表現を形成することを特定することで、DNNが予測にどのように入力パターンを統合的に使用しているかを明らかにする。実験により、モデル行動を説明する有効性が確認されている。

ABSTRACT

This paper aims to explain deep neural networks (DNNs) from the perspective of multivariate interactions. In this paper, we define and quantify the significance of interactions among multiple input variables of the DNN. Input variables with strong interactions usually form a coalition and reflect prototype features, which are memorized and used by the DNN for inference. We define the significance of interactions based on the Shapley value, which is designed to assign the attribution value of each input variable to the inference. We have conducted experiments with various DNNs. Experimental results have demonstrated the effectiveness of the proposed method.

研究の動機と目的

• 多次元相互作用を通じて、複数の入力変数がDNNの予測にどのように共同で影響を与えるかを理解すること。
• 一貫性のある特徴コアリションを形成する入力変数間の顕著な相互作用を同定および定量化すること。
• ゲーム理論（シャープレイ値）に基づく手法を用いて、入力変数のグループに対する予測寄与度を割り当てる方法を開発すること。
• さまざまなDNNアーキテクチャにおいて、実証的評価を通じて本手法の有効性を示すこと。

提案手法

• 本手法は、シャープレイ値フレームワークを用いて、入力変数の組み合わせに対するモデル出力の公平な寄与度割り当てを定義する。
• 入力変数のコアリションが予測に与える限界寄与度を測定することで、相互作用の重要度を定量化する。
• 入力変数を協力ゲームにおけるプレーヤーとみなし、サブセットの入力を含めたときのモデル出力の変化を価値関数としてモデル化する。
• 変数が異なるコアリションに追加された際のシャープレイ値の差異に基づいて、相互作用の強度を計算する。
• さまざまなDNNに本手法を適用し、予測を駆動する顕著な特徴コアリションを抽出および解釈する。

実験結果

リサーチクエスチョン

• RQ1 DNNにおいて、どの入力変数の組み合わせが強い多次元相互作用を示すか？
• RQ2 ゲーム理論的原則を用いて、入力変数コアリションの予測寄与度をどのように公平に割り当てるか？
• RQ3 同定された相互作用を持つ特徴コアリションは、DNNが記憶した意味的なプロトタイプ特徴に対応する程度はどの程度か？
• RQ4 本手法は、異なるアーキテクチャおよびデータセットにおいて、DNNの行動をどの程度効果的に解釈できるか？

主な発見

• 本手法は、DNNが記憶したプロトタイプ表現に対応する顕著な特徴コアリションを効果的に同定した。
• 多次元相互作用はモデルの予測に顕著に寄与しており、特定の入力グループは顕著に高い相互作用重要度を示した。
• シャープレイ値に基づく寄与度割り当ては、多様なDNNにおいて公平で一貫性のある相互作用重要度の測定を提供した。
• 多数のDNNにおける実証的評価を通じて、本手法が複雑な相互作用パターンを解釈する上で有効であることが示された。