[論文レビュー] Visualizing Residual Networks

Brian Chu, Daylen Yang+1 more|arXiv (Cornell University)|Jan 9, 2017

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

この論文は、画像分類のImageNetで最先端の性能を達成した深層残差ネットワーク（ResNets）における残差スキップ接続の機能的役割を、定性的な可視化とガイド付きバックプロパゲーションを用いて調査する。残差ブロック内の特徴マップを分析することで、著者らはスキップ接続が特徴を段階的に洗練・鋭化させることを実証し、深層畳み込みニューラルネットワーク（CNN）では、特徴が層を重ねるごとにより判別能が高まる階層的表現を学習していることを確認した。主な貢献は、残差接続が単なるアイデンティティマッピングではなく、特徴の洗練を促進することを可視化的証拠で示したことである。

ABSTRACT

Residual networks are the current state of the art on ImageNet. Similar work in the direction of utilizing shortcut connections has been done extremely recently with derivatives of residual networks and with highway networks. This work potentially challenges our understanding that CNNs learn layers of local features that are followed by increasingly global features. Through qualitative visualization and empirical analysis, we explore the purpose that residual skip connections serve. Our assessments show that the residual shortcut connections force layers to refine features, as expected. We also provide alternate visualizations that confirm that residual networks learn what is already intuitively known about CNNs in general.

研究の動機と目的

• ImageNetで最先端の性能を達成したResNetsにおける残差スキップ接続の定性的役割を理解すること。
• 畳み込みニューラルネットワーク（CNN）が段階的にグローバルな特徴を学習するとする仮説に疑問を呈し、残差接続が特徴学習に与える影響を分析すること。
• Heらの直観、すなわちアイデンティティマッピングに対する残差関数の学習が訓練と特徴表現の両方を改善することを検証すること。
• ガイド付きバックプロパゲーションとトップ活性化パッチを用いて、残差ブロック間での特徴洗練の可視的証拠を提供すること。

提案手法

• 各残差ブロックにおけるユニット活性化に与える入力画素の寄与度を追跡するため、ガイド付きバックプロパゲーションを用いて特徴マップを可視化した。
• ImageNet検証セットから、特定の層の各チャネルを最大に活性化する上位9個の画像パッチを同定した。
• 同一比較のため、基本ブロックとプロジェクションショートカットブロックを併用した50層の事前学習済みResNetアーキテクチャを用いた。
• Yosinskiらの可視化コードに変更を加え、残差ネットワーク構造とガイド付きバックプロパゲーションをサポートするようにした。
• 層間の特徴の進化（例：res2a → res2b → res2c）を比較し、洗練のパターンを評価した。
• チャネル数が変化し、プロジェクションショートカットが使用される境界（例：res3c → res4a）におけるフィルタ動作を検討した。

実験結果

リサーチクエスチョン

• RQ1 残差スキップ接続は、深層ネットワークの層を跨いで学習された特徴の進化にどのように影響するか？
• RQ2 残差ブロックは、単に特徴を通過させるのではなく、どれほど特徴を洗練させるのか？
• RQ3 残差ネットワークは、深さを重ねるごとに特徴がより判別能が高まる階層的表現を学習するのか？
• RQ4 チャネル数が増加し、空間的ダウンサンプリングが行われる基本ブロックからプロジェクションブロックに移行する際、特徴パターンはどのように変化するか？
• RQ5 可視化により、Heらの仮説である『残差ネットワークはアイデンティティマッピングに対する関数を学習する』という仮説が裏付けられるか？

主な発見

• 同じ次元性を持つ残差ブロックでは、特徴が段階的に洗練される：曲線の線分がループに進化するなど、特徴が鋭くなる。
• チャネル150の一部のフィルタは、res2aではわずかなカーブを検出するが、res2bとres2cではよりきついカーブを認識するようになるなど、洗練の兆候が見られる。
• res5aのフィルタ1660は、当初はトレインバイクに活性化するが、res5cでは上位9つの活性化すべてがトレインバイクを示しており、深さに伴う強い洗練が確認された。
• ガイド付きバックプロパゲーションの可視化により、フィルタが特定の部分特徴（例：スーツの襟、自転車のスポーク）に注目していることが示され、判別能の高い部分に注目していることがわかった。
• AlexNetとは異なり、層間で対応関係や洗練がほとんど見られないのに対し、ResNetsでは残差ブロック間で明確で一貫した洗練が観察された。
• スキップ接続の存在により、特徴が単に通過されるのではなく洗練されるようになり、残差学習が原始的特徴の学習よりも効果的であるという仮説を支持する。