[論文レビュー] Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex

Qianli Liao, Tomaso Poggio|arXiv (Cornell University)|Apr 13, 2016

Neural dynamics and brain function参考文献 37被引用数 194

ひとこと要約

この論文は residual networks が重み共有を伴う浅い再帰ネットワークと formally equivalent であることを示し、多状態再帰モデルが ventral visual stream 処理を模倣するよう一般化され、CIFAR-10 と ImageNet で time-specific batch normalization を用いた評価を行う。

ABSTRACT

We discuss relations between Residual Networks (ResNet), Recurrent Neural Networks (RNNs) and the primate visual cortex. We begin with the observation that a special type of shallow RNN is exactly equivalent to a very deep ResNet with weight sharing among the layers. A direct implementation of such a RNN, although having orders of magnitude fewer parameters, leads to a performance similar to the corresponding ResNet. We propose 1) a generalization of both RNN and ResNet architectures and 2) the conjecture that a class of moderately deep RNNs is a biologically-plausible model of the ventral stream in visual cortex. We demonstrate the effectiveness of the architectures by testing them on the CIFAR-10 and ImageNet dataset.

研究の動機と目的

• Residual Networks（ResNet）、Recurrent Neural Networks（RNN）、および霊長類視覚皮質の関係を動機づけて研究する。
• 非常に深い ResNets の性能に匹敵する shallow RNN が共有ウェイトで実現できることを示す。
• 脳生理学的に妥当な多状態再帰モデルのクラスへ一般化し、Ventral visual stream をモデル化して CIFAR-10 および ImageNet で評価する。
• 時間依存のバッチ正規化（TSBN）を導入し、RNN の ReLUs と再帰接続を用いた訓練の安定性を向上させる。
• 生物学的妥当性と深層学習および神経科学の将来の方向性への影響を論じる。

提案手法

• ResNet における重み共有と h_t+1 = K(h_t) + h_t を実装する特定の RNN との正式な同値性を確立する。
• 腹話的な脳領域の段階をモデル化する有向グラフ上の多状態完全再帰ネットワーク（FRNN）へ一般化する（例：LGN, V1, V2, V4, IT）。
• 遷移行列を用いて状態間の計算を定義し、時間変化する遷移を許容する；エンドツーエンド訓練のためにプレ-ネットおよびポスト-ネットを採用する。
• ウェイト共有スキームを組み込み、読み出し時間 t を展開深度として扱い、生物学的タイミングとネットワーク深度を結びつける。
• ReLUs と再帰接続を持つ RNN の訓練を安定化させるため、時間特異的バッチ正規化（TSBN）を提案する。

実験結果

リサーチクエスチョン

• RQ1 ResNet は共有ウェイトを持つ RNN として正式に解釈でき、再帰的システムとして展開しても性能を保持するか。
• RQ2 多状態 FRNN アーキテクチャは CIFAR-10 および ImageNet の脳生理学的に妥当で効果的な ventral visual stream のモデルを提供するか。
• RQ3 時間特異的バッチ正規化は再帰遷移と ReLU を持つ RNN の訓練安定性と性能を改善するか。
• RQ4 読み出し時間（展開深度）は ResNet 系列および FRNN モデルの精度と一般化にどのように影響するか。
• RQ5 多状態再帰アーキテクチャにおける共有ウェイト vs 非共有ウェイトのトレードオフはデータセット間でどう変わるか。

主な発見

• ウェイトを時系列で共有する ResNet は深さに沿って展開された浅い RNN と正式に同値である。
• ウェイト共有 RNN は大幅なパラメータ削減にもかかわらず、ResNet の性能の大半を保持できる。
• 3-state and 4-state FRNN は読み出し時間が性能に影響を与えつつ、CIFAR-10 で従来の最高モデルと競合する結果を達成する。
• ImageNet では、共有ウェイトの 4-state FRNN が特定の設定下でより深いアーキテクチャの結果に近づく。
• 時間特異的 Batch Normalization により ReLUs と再帰的接続を持つネットワークの訓練が安定化され、以前の訓練課題に対処される。
• これらのモデルは生物学的妥当性への適合性を高め、皮質のような再帰処理が迅速な視覚認識を支える可能性について洞察を提供する。