[論文レビュー] VisualBackProp: efficient visualization of CNNs

Mariusz Bojarski, Anna Choromanska+5 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Neural Network Applications参考文献 30被引用数 45

ひとこと要約

この論文では、勾配ではなく特徴マップを介して関連値を逆伝播することで、CNNの予測に最も寄与する入力画像領域を計算的に効率的に可視化する方法であるVisualBackPropを紹介する。リアルタイム性能（1マスクあたり2.0ms）を達成し、層別関連性プロパゲーション（LRP）と同等の可視化品質を実現するが、12倍高速であるため、自動運転などのアプリケーションにおけるCNNのリアルタイムデバッグに最適である。

ABSTRACT

This paper proposes a new method, that we call VisualBackProp, for visualizing which sets of pixels of the input image contribute most to the predictions made by the convolutional neural network (CNN). The method heavily hinges on exploring the intuition that the feature maps contain less and less irrelevant information to the prediction decision when moving deeper into the network. The technique we propose was developed as a debugging tool for CNN-based systems for steering self-driving cars and is therefore required to run in real-time, i.e. it was designed to require less computations than a forward propagation. This makes the presented visualization method a valuable debugging tool which can be easily used during both training and inference. We furthermore justify our approach with theoretical arguments and theoretically confirm that the proposed method identifies sets of input pixels, rather than individual pixels, that collaboratively contribute to the prediction. Our theoretical findings stand in agreement with the experimental results. The empirical evaluation shows the plausibility of the proposed approach on the road video data as well as in other applications and reveals that it compares favorably to the layer-wise relevance propagation approach, i.e. it obtains similar visualization results and simultaneously achieves order of magnitude speed-ups.

研究の動機と目的

• エンドツーエンドの自律走行システムにおけるCNN予測の解釈を目的としたリアルタイムで効率的な可視化手法を開発すること。
• CNNの出力意思決定に寄与する最も重要な入力画素を特定することに焦点を当て、レーンマークのような意味のある視覚的手がかりを対象とする。
• 勾配ベースまたはヒューリスティックな可視化手法の理論的裏付けのある代替手法を提供し、保証された関連性プロパゲーションを実現すること。
• フォワードパスを下回る計算コストを実現することで、トレーニング時および推論時における実用的デバッグを可能にすること。
• 自律走行動画データおよびベンチマークデータセット上で手法を検証し、LRPと同等の忠実性を示しながら顕著な高速化を達成すること。

提案手法

• VisualBackPropは、勾配ではなく値ベースの逆伝播を用いて、最終畳み込み層から入力画像へと関連値を逆伝播する。
• 最後の畳み込み層の特徴マップから出発し、そこには高レベルの関連する表現が含まれており、逆伝播中に空間分解能を段階的に向上させる。
• ネットワークフローの原則に基づく勾配非依存のメッセージパッシング方式を用い、浅い層の高分解能特徴と深い層の高関連性情報を統合する。
• 関連値は保存則に基づき層ごとに再分配され、層間で合計関連値が保持されることを保証する。
• アルゴリズムは各入力画素に対して関連スコアを計算し、予測に最も寄与する領域を強調表示する。
• Torch7を用いてGPUアクセラレーションを実装し、1マスクあたり約2.0msのリアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 勾配非依存の値ベースの逆伝播手法は、CNN意思決定の信頼性が高く解釈可能な可視化を生成できるか？
• RQ2 VisualBackPropは、自律走行シナリオにおいて、レーンマークや道路縁など意味的に関連する画像領域を正しく特定できるか？
• RQ3 特にリアルタイムデプロイメントにおいて、VisualBackPropの計算効率は、最新の手法（例：LRP）と比較してどの程度優れているか？
• RQ4 視覚的および定量的類似性の観点から、VisualBackPropの可視化はLRPのものとどの程度一致するか？
• RQ5 VisualBackPropは、ステアリングホイール角度を予測する際、CNNが無関係な視覚的手がかり（例：水平線）を無視しているかどうかを明らかにできるか？

主な発見

• VisualBackPropは、LRPが生成するものと類似した質的可視化マスクを生成しており、関連する画像領域を高精度に特定していることを示している。
• GeForce GTX 970M上で1マスクあたり2.0msで実行可能であり、LRPの24.6msと比較して12倍高速であるため、リアルタイムアプリケーションに適している。
• 自律走行データにおいて、レーンマークが影で一部が隠されたり視界から消えても、正しく主要な意思決定手がかりとして特定している。
• ステアリングホイール角度を予測する際、水平レーンマークや道路表面のパターンなど、他の無関係な特徴をネットワークが無視していることを示している。
• 高い予測誤差（例：-20.74° SWA）のケースでは、ネットワークが低品質または曖昧な視覚的手がかりに注目していることがVisualBackPropによって明らかになり、診断的インサイトを提供している。
• ImageNetおよびドイツ交通標識検出ベンチマークにおける実験結果から、VisualBackPropは自律走行を越えて多様なタスクに一般化でき、強力な性能を維持していることが確認された。