[論文レビュー] Interpreting the Predictions of Complex ML Models by Layer-wise Relevance Propagation

Wojciech Samek, Grégoire Montavon+3 more|arXiv (Cornell University)|Nov 24, 2016

Anomaly Detection Techniques and Applications被引用数 29

ひとこと要約

この論文は、分類出力を入力特徴量の寄与度に分解することで、深層ニューラルネットワークの予測を解釈する手法であるレイヤーごとの関連性伝播（LRP）を紹介する。各層に保存則を適用して関連性スコアを逆方向に伝播させる手法により、モデルの意思決定に最も寄与する入力特徴量を強調するピクセル単位の寄与度マップを生成する。画像分類タスクにおいて、感度解析よりも定性的および定量的に優れた結果を示している。

ABSTRACT

Complex nonlinear models such as deep neural network (DNNs) have become an important tool for image classification, speech recognition, natural language processing, and many other fields of application. These models however lack transparency due to their complex nonlinear structure and to the complex data distributions to which they typically apply. As a result, it is difficult to fully characterize what makes these models reach a particular decision for a given input. This lack of transparency can be a drawback, especially in the context of sensitive applications such as medical analysis or security. In this short paper, we summarize a recent technique introduced by Bach et al. [1] that explains predictions by decomposing the classification decision of DNN models in terms of input variables.

研究の動機と目的

• 複雑な機械学習モデル、特に深層ニューラルネットワーク（DNN）の解釈不能性の問題に対処すること。DNNは意思決定を「ブラックボックス」の形でするためである。
• 個々の入力特徴量（画像のピクセルなど）からの寄与度に分離することで、DNNの予測を説明する手法を開発すること。
• 局所的な摂動に対する感度の測定にとどまらず、DNNが特定の入力をどのように特定の予測に割り当てるかを忠実かつ直感的に説明できること。
• 入力特徴量および文脈的情報の関連度を定量化することで、モデルの比較、検証、可視化を可能にすること。
• 画像分類、テキスト解析、EEG信号処理を含む、さまざまなモデルとタスクに適用可能な一般化可能なフレームワークを確立すること。

提案手法

• LRPは、各層での関連性保存則を満たすように、局所的な再配分ルールを用いて予測スコアをネットワークの各層を逆方向に伝播させる。
• コアとなるメカニズムは、層 l+1 のニューロンから層 l のニューロンへ関連性を伝播させる「アルファ・ベータ」ルールであり、R_i = Σ_j [α·(x_i w_ij)^+ / Σ_i (x_i w_ij)^+ - β·(x_i w_ij)^- / Σ_i (x_i w_ij)^- ] · R_j で定義される。
• α と β は α - β = 1 を満たすように選ばれ、層ごとの関連性保存を維持する。α=2、β=1 とすることで、鋭く解釈可能なヒートマップが得られる。
• 出力層から入力層へ向かって、レイヤー単位の逆方向パスを実行し、ピクセル単位の関連性スコアを生成する。
• このアプローチは、深層テイラー分解に基づいており、さまざまな活性化関数やネットワークアーキテクチャへ拡張可能である。
• LRPは、Bag-of-Words や Fisher Vector/SVM クラス分類器といった非畳み込みモデルにも適用可能であり、広範な適用可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ピクセルなどの個々の入力特徴量への関連性を割り当てることで、深層ニューラルネットワークの予測を説明できるか？
• RQ2 局所的摂動に対する応答を測定する感度ベースの説明とは異なり、DNN意思決定の忠実な説明とは何かを特徴づけるか？
• RQ3 背景や周囲の物体などの文脈的要因が、画像分類意思決定にどの程度寄与しているか、LRPによって明らかになるか？
• RQ4 CaffeNet と GoogleNet のような異なる深層ニューラルネットワークアーキテクチャでは、入力特徴量にわたる関連度の分布にどのような違いがあり、それらが意思決定戦略をどのように反映しているか？
• RQ5 感度解析よりも、摂動に基づく評価で測定した場合に、LRPがより信頼性が高く定量的に意味のある説明を提供できるか？

主な発見

• 感度解析に比べ、LRPははるかに鋭く直感的な寄与度マップを生成する。感度解析は、勾配感度が高いため、しばしば関係のない背景領域を強調してしまう。
• 摂動解析において、LRPが特定した関連領域は、分類スコアの低下が速く（AOPC値が高くなる）、実際のモデル挙動とよりよく一致している。
• 「飛行機」や「羊」などの物体カテゴリでは、大部分の関連度が物体のバウンディングボックス内に集中しており、文脈的影響は最小限であることが示された。
• 「いす」や「ソファ」などの屋内シーンカテゴリでは、LRPにより周囲の領域に顕著な関連度が割り当てられ、文脈が分類に重要な役割を果たしていることが明らかになった。
• GoogleNet は、動物の顔を中心に集中した疎な関連度マップを生成したが、BVLC CaffeNet は体や毛布にわたり広く関連度を分散させた。
• α=2、β=1 のアルファ・ベータルールは、多様なモデルとデータセットにおいて一貫して高品質なヒートマップを生成し、強力な耐障害性と一般化可能性を示した。