[論文レビュー] Recurrent Feedback Improves Feedforward Representations in Deep Neural Networks

Siming Yan, Xuyang Fang+4 more|arXiv (Cornell University)|Dec 22, 2019

Neural dynamics and brain function参考文献 22被引用数 6

ひとこと要約

この論文は、VGG16アーキテクチャの隣接層間における再帰的フィードバックと水平結合を備えた生物学的にインspiredな深層ニューラルネットワークを提案する。フィードバックを用いたファインチューニングにより、視覚的コンセプトの変化ではなく、キーメンタム的セマンティッククラスタの周囲でのフォワードパス表現の安定化によって、ノイズおよび遮蔽に対する耐性が向上する。これは、根本的なコンセプトを変更せずに性能向上を実現する。

ABSTRACT

The abundant recurrent horizontal and feedback connections in the primate visual cortex are thought to play an important role in bringing global and semantic contextual information to early visual areas during perceptual inference, helping to resolve local ambiguity and fill in missing details. In this study, we find that introducing feedback loops and horizontal recurrent connections to a deep convolution neural network (VGG16) allows the network to become more robust against noise and occlusion during inference, even in the initial feedforward pass. This suggests that recurrent feedback and contextual modulation transform the feedforward representations of the network in a meaningful and interesting way. We study the population codes of neurons in the network, before and after learning with feedback, and find that learning with feedback yielded an increase in discriminability (measured by d-prime) between the different object classes in the population codes of the neurons in the feedforward path, even at the earliest layer that receives feedback. We find that recurrent feedback, by injecting top-down semantic meaning to the population activities, helps the network learn better feedforward paths to robustly map noisy image patches to the latent representations corresponding to important visual concepts of each object class, resulting in greater robustness of the network against noises and occlusion as well as better fine-grained recognition.

研究の動機と目的

• 再帰的フィードバックおよび文脈的モジュレーションが、深層ニューラルネットワークにおけるフォワードパス表現の耐性をどのように向上させるかを調査すること。
• トレーニング中のフィードバックが、潜在表現に埋め込まれた視覚的コンセプト自体を変化させるのか、それとも入力のマッピングの安定性を向上させるのかを特定すること。
• 上位から下位へのフィードバックおよび横方向のフィードバックが、細分化されたオブジェクト認識およびノイズ／遮蔽に対する耐性に与える影響を評価すること。
• フィードバックが、深層ネットワーク層におけるパラダイムコードのクラスタリングおよび識別可能性にどのように影響するかを同定すること。

提案手法

• VGG16の隣接ステージ間の3つの再帰的フィードバックループを備えたVGG-CMモデルを導入し、霊長目の視覚皮質の結合様式を模倣する。
• 局所的な水平結合および上位から下位へのフィードバック結合を有するマイクロサーキット設計を採用し、中間層の活動を調整する。
• フィードバック信号を用いたバックプロパゲーションによりネットワークをファインチューニングし、文脈的情報が初期層の表現を形作るのを可能にする。
• 視覚的コンセプトを、pool3層における潜在表現のクラスタとして定義し、クラス内頻度とクラス間固有性を用いてコンセプトの重要度を順位付けする。
• ノイズの強いパッチがクリーンパッチと同じ視覚的コンセプトにマッピングされる頻度を評価し、クラスタ中心からの平均距離を計算することで耐性を測定する。
• d-primeを用いて、フィードバックファインチューニングの前後におけるパラダイムコードにおけるオブジェクトクラス間の識別可能性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中の再帰的フィードバックが、フォワードパスネットワークのノイズおよび遮蔽に対する耐性を向上させるか？
• RQ2 フィードバックは、潜在表現における視覚的コンセプトの安定性およびクラスタリングにどのように影響するか？
• RQ3 改善効果は、視覚的コンセプト自体の変化によるものか、それとも入力がそれらにマッピングされる方法の改善によるものか？
• RQ4 フィードバックは、パラダイムコードにおけるオブジェクトクラス間の識別可能性をどの程度向上させるか？
• RQ5 フィードバックは、損傷を受けても元の正しい潜在表現にマッピングされるように、セマンティックマッピングを保持するのを支援できるか？

主な発見

• 再帰的フィードバックを用いたファインチューニングにより、50％のガウスノイズおよび遮蔽に対しても、フォワードパスでも顕著な耐性向上が達成された。
• VGG-CM-0モデルは、標準的なVGG16と比較して、ノイズパッチを元の視覚的コンセプトクラスタ内に保持する割合が15〜20％高い。
• VGG-CM-0では、ノイズ表現の元のコンセプト中心からの平均距離が25％減少しており、より高い安定性を示している。
• パラダイムコードにおけるオブジェクトクラス間の識別可能性（d-prime）は、フィードバックが影響を及ぼす最初の層でも向上した。
• 視覚的コンセプトのアイデンティティおよび重要度順位は、ほとんど変化せず、改善効果がコンセプト再編成ではなく、表現の安定性に起因していることが示された。
• 主な利点は、フィードバックがフォワードパス経路を、より強固で意味的意味を持つクラスタに適切にマッピングするように導くことにあり、コアコンセプトを変更せずに性能向上を実現している。