[論文レビュー] Representer Point Selection for Explaining Deep Neural Networks

Chih‐Kuan Yeh, Joon Sik Kim+2 more|arXiv (Cornell University)|Nov 23, 2018

Adversarial Robustness in Machine Learning被引用数 77

ひとこと要約

本論文は representer points を提案します: 正または負の representer 値を持つ訓練サンプルがニューラルネットワークの pre-activation 出力を線形に分解し、予測の実時間での説明をスケーラブルに行えるようにします。

ABSTRACT

We propose to explain the predictions of a deep neural network, by pointing to the set of what we call representer points in the training set, for a given test point prediction. Specifically, we show that we can decompose the pre-activation prediction of a neural network into a linear combination of activations of training points, with the weights corresponding to what we call representer values, which thus capture the importance of that training point on the learned parameters of the network. But it provides a deeper understanding of the network than simply training point influence: with positive representer values corresponding to excitatory training points, and negative values corresponding to inhibitory points, which as we show provides considerably more insight. Our method is also much more scalable, allowing for real-time feedback in a manner not feasible with influence functions.

研究の動機と目的

• Representer 分解を通じて訓練点に帰因づけることでニューラルネットワークの予測を説明する。
• 影響関数の代替として、影響力のある訓練サンプルを特定するためのスケーラブルな手法を提供する。
• 興奮性（正）と抑制性（負）の representer 点を区別して、より深いモデルの洞察を得る。
• データセットのデバッグ、誤分類の理解、感度分析における実用的な有用性を実証する。

提案手法

• 2 段階のパラメータ化を持つニューラルネットワークを仮定する: Phi(x, Theta)=Theta1 f, ただし f=Phi2(x, Theta2)。
• Derive a representer decomposition: Phi(x_t, Theta*) = sum_i alpha_i k(x_t, x_i, alpha_i) with alpha_i = -(1/(2 lambda n)) * dL(x_i, y_i, Theta)/dPhi(x_i, Theta) and k(x_t, x_i, alpha_i) = alpha_i f_i^T f_t.
• Theta1 に対して L2 正則化を課し、停留点で representer 形が成り立つことを保証する。
• 任意のテスト点に対して representer 値を計算できるように Theta* を得る実用的な訓練（式3）を提案する。
• 所与の事前訓練済みモデルの representer 点を生成するために、Phi(x_i, Theta) を与えられたモデルと整合させる適切な損失（softmax または ReLU）を用いた凸問題を解く拡張を提案する。
• リアルタイムの説明性と解釈可能性のための実装の詳細と実用上の配慮について議論する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットの予測は、訓練点の活性化の線形結合として、学習可能な重み（representer 値）で表現できるだろうか？
• RQ2 正の representer 値は興奮性の訓練点を特定し、負の値は抑制性の点を特定して、特定のテスト事例に対するモデルの振る舞いを明らかにするのか？
• RQ3 representer ベースの説明は、影響関数よりもスケーラブルであり、影響力のある訓練サンプルを特定する際により有益なのか？
• RQ4 representer 値はデータセットのデバッグ、誤分類分析、感度分解に役立つのか？
• RQ5 このフレームワークは事前訓練済みモデルに適用可能で、適切な凸損失を用いて diverse activations（softmax、ReLU など）に拡張できるのか？

主な発見

• 事前活性化の予測は、訓練の活性化の重み付き和に分解でき、その重み（representer 値）は訓練点の影響を示す。
• 正の representer 値は予測を支持する興奮性訓練点に対応し、負の値はそれを抑制する抑制性の点に対応する。
• representer アプローチは影響関数と比べてよりスケーラブルで、ほぼリアルタイムの説明を可能にし、計算コストも有利である。
• Representer 点は、モデルがなぜ特定の予測をしたのか、あるいはしなかったのかをより明確に視覚化でき、誤分類に関与するデータセットの問題を明らかにすることができる。
• CIFAR-10 と AwA の実験は、有意で解釈可能な興奮性/抑制性の例と、従来法を超える堅牢な定性的洞察を示している。