[論文レビュー] Explaining Deep Neural Networks with a Polynomial Time Algorithm for Shapley Values Approximation

Marco Ancona, Cengiz Öztireli+1 more|arXiv (Cornell University)|Mar 26, 2019

Explainable Artificial Intelligence (XAI)参考文献 42被引用数 48

ひとこと要約

本研究は Deep Approximate Shapley Propagation (DASP) を提案する。DASP は DNN の Shapley 値を多項式時間で近似する方法であり、複数のデータセットにわたって最先端手法よりもより正確な寄与度を示す。

ABSTRACT

The problem of explaining the behavior of deep neural networks has recently gained a lot of attention. While several attribution methods have been proposed, most come without strong theoretical foundations, which raises questions about their reliability. On the other hand, the literature on cooperative game theory suggests Shapley values as a unique way of assigning relevance scores such that certain desirable properties are satisfied. Unfortunately, the exact evaluation of Shapley values is prohibitively expensive, exponential in the number of input features. In this work, by leveraging recent results on uncertainty propagation, we propose a novel, polynomial-time approximation of Shapley values in deep neural networks. We show that our method produces significantly better approximations of Shapley values than existing state-of-the-art attribution methods.

研究の動機と目的

• 軸となる比較による公理的比較を通じて、DNN の信頼できる局所説明のための Shapley 値の使用を動機づける。
• 深層ネットワークにおける Shapley 値の多項式時間近似アルゴリズム（DASP）を開発する。
• 多様なデータセットとアーキテクチャに対して、DASP を最先端の寄与度推定法と経験的に評価する。

提案手法

• ゼロ基線を用いてニューラルネットワークの入力に対する Shapley 値を定式化する。
• コアリションの分布を用いて、さまざまなサイズ k のコアリションからの寄与を評価することで、期待コアリションを近似する。
• Lightweight Probabilistic Networks (LPN) とモーメントマッチングを用いて入力の不確実性をネットワーク内で伝播し、出力統計を得る。
• コアリションをガウス分布入力として表現し、ネットワークの各層（線形、ReLU、最大プーリング）を通じて平均と分散を伝播させて計算する。
• サンプル化したコアリションサイズ（K）に対して、それぞれの特徴量の有無でのネットワーク出力を比較し、寄与を平均して近似的な Shapley 値を計算する。
• 全てのコアリションサイズをテストする場合は O(N^2) 評価、あるいは縮小したサイズ集合の場合は O(KN) 評価で多項式時間の複雑さを達成する。

実験結果

リサーチクエスチョン

• RQ1 Shapley 値は、アーキテクチャを問わず DNN に対して principled（公理に基づく）な寄与度推定を、提供できるか？
• RQ2 DNN の入力に対する Shapley 値を多項式時間で近似することは、精度の過度な損失なく実現可能か？
• RQ3 データセットとアーキテクチャ全体で、DASP は既存のバックプロパゲーションベースおよび摂動ベースの寄与度推定法と、精度と効率の観点でどう比較されるか？

主な発見

• DASP は、テストされたタスクで競合法よりも Shapley 値を用いた寄与度推定の精度が高い。
• 本手法は N 個の入力特徴量に対して多項式時間評価でスケールする（全てのコアリションサイズを使用する場合は O(N^2)）。
• 入力コアリションはガウス分布としてモデル化され、LPN 基盤の不確実性伝搬を介して平均と分散をネットワーク全体に伝播できる。
• Parkinsons disability assessment、DNA sequence classification、MNIST に関する経験的結果は、偏りの生じやすいまたはサンプリングベースの手法と比較して有利な性能を示した。