[論文レビュー] Interpretation of Prediction Models Using the Input Gradient

Yotam Hechtlinger|arXiv (Cornell University)|Nov 23, 2016

Topic Modeling参考文献 4被引用数 61

ひとこと要約

この論文では、入力勾配（モデル出力に対する入力の偏微分）を用いて、深層ニューラルネットワークを含む複雑な予測モデルを一般化・モデルに依存しない方法で解釈する手法を提案する。勾配が特徴量の重要度を明らかにし、グローバルな線形近似を可能にすることを示しており、Bag of Words表現を用いた感情分類タスクにおいて、元のモデルと99.6％の一致を達成した。

ABSTRACT

State of the art machine learning algorithms are highly optimized to provide the optimal prediction possible, naturally resulting in complex models. While these models often outperform simpler more interpretable models by order of magnitudes, in terms of understanding the way the model functions, we are often facing a "black box". In this paper we suggest a simple method to interpret the behavior of any predictive model, both for regression and classification. Given a particular model, the information required to interpret it can be obtained by studying the partial derivatives of the model with respect to the input. We exemplify this insight by interpreting convolutional and multi-layer neural networks in the field of natural language processing.

研究の動機と目的

• 複雑な予測モデル、特に深層ニューラルネットワークに対して一般化可能でモデルに依存しない解釈手法を開発すること。
• 従来のパラメータベース解析が失敗する「ブラックボックス」モデルにおける解釈可能性の課題に対処すること。
• 入力勾配が特徴量の重要度およびモデルの挙動に関する意味のある洞察を提供することを示すこと。
• 勾配を用いて複雑で非線形なモデルの正確な線形近似が可能であることを示すこと。
• 単語埋め込みおよびBag of Words表現を用いて、実際のNLPタスクにおいてこの手法を検証すること。

提案手法

• 各入力特徴量に対するモデル出力の勾配、すなわち ∇f(x) = (∂f/∂x₁, ..., ∂f/∂xₚ) を計算することで、特徴量の影響を評価する。
• 誤差逆伝播法を用いて、合成律を活用してニューラルネットワーク内の勾配を効率的に計算する。
• テストセット全体での平均勾配ベクトル g̃ = (ḡ₁, ..., ḡₚ) を計算することで、特徴量の重要度のグローバルな測度を取得する。
• 平均勾配ベクトル g̃ を用いて、線形分類器によりモデルの意思決定境界を近似する：⟨g̃, x_new⟩ > 0 であれば予測を1とする。
• 個々の文（例：個別文）に対するローカル解釈と、データセット全体における語レベルの影響（例：グローバル解釈）の両方を適用する。
• 非微分可能な特徴量（例：バイナリBoW）については、局所的な近傍で連続的とみなして勾配推定を行う。

実験結果

リサーチクエスチョン

• RQ1 入力勾配は、複雑さにかかわらず、任意の予測モデルに対して汎用的な解釈ツールとして機能できるか？
• RQ2 深層学習モデルにおいて、入力特徴量の真の影響が入力勾配にどれほど適切に反映されるか？
• RQ3 平均勾配ベクトルは、複雑なモデルの意思決定境界を信頼できるグローバルな近似として提供できるか？
• RQ4 平均勾配に基づく線形分類器は、非線形モデルの予測をどの程度正確に再現できるか？
• RQ5 感情分類などのNLPタスクにおいて、勾配は意味的で解釈可能なパターンをどのように明らかにするか？

主な発見

• 平均勾配ベクトル g̃ は、特徴量の重要度を信頼できるグローバルな推定値として提供し、『excellent』や『worst』といった上位語が高解釈性を示した。
• g̃ を用いた線形分類器は、テストセットにおいて元のモデルと99.6％の一致を示し、意思決定境界が近似的に線形であることを示した。
• 個々の文においても、勾配ノルムが高いために『ape was outstanding』における『ape』のような影響力のある語を効果的に同定できた。
• バイナリBoWベクトルのような非微分可能な特徴量に対しても、局所的摂動による勾配推定は効果的で情報豊富であった。
• このアプローチは、畳み込みネットワークや多層ニューラルネットワークを含む、さまざまなモデルタイプに一般化可能であった。
• パラメータと特徴量の直接的な対応関係がない複雑なモデルでは、従来のパラメータベースの解釈法よりも、勾配ベースの手法が優れていた。