[論文レビュー] Towards Biologically Plausible Convolutional Networks

Roman Pogodin, Yash Mehta+2 more|arXiv (Cornell University)|Jun 22, 2021

Neural dynamics and brain function参考文献 38被引用数 9

ひとこと要約

この論文は、局所接続ネットワークにおける横方向結合とヘブニアン可塑性を用いた動的重み共有を提案し、標準畳み込みネットワークの生物学的妥当な代替手法を実現する。周期的な「睡眠様」フェーズにおいて、ニューロンが横方向結合を通じて重みを共有することで、ImageNet でほぼ畳み込みネットワーク並みの性能（例：トップ1正答率 61.7%）を達成するとともに、縁側ストリームデータへの適合性が向上し、畳み込みネットワークが視覚処理の生物学的妥当なモデルであることを裏付ける。

ABSTRACT

Convolutional networks are ubiquitous in deep learning. They are particularly useful for images, as they reduce the number of parameters, reduce training time, and increase accuracy. However, as a model of the brain they are seriously problematic, since they require weight sharing - something real neurons simply cannot do. Consequently, while neurons in the brain can be locally connected (one of the features of convolutional networks), they cannot be convolutional. Locally connected but non-convolutional networks, however, significantly underperform convolutional ones. This is troublesome for studies that use convolutional networks to explain activity in the visual system. Here we study plausible alternatives to weight sharing that aim at the same regularization principle, which is to make each neuron within a pool react similarly to identical inputs. The most natural way to do that is by showing the network multiple translations of the same image, akin to saccades in animal vision. However, this approach requires many translations, and doesn't remove the performance gap. We propose instead to add lateral connectivity to a locally connected network, and allow learning via Hebbian plasticity. This requires the network to pause occasionally for a sleep-like phase of "weight sharing". This method enables locally connected networks to achieve nearly convolutional performance on ImageNet and improves their fit to the ventral stream data, thus supporting convolutional networks as a model of the visual stream.

研究の動機と目的

• 標準畳み込みネットワークにおける重み共有の生物学的不条理さに起因する、局所学習制約により実現不可能な神経細胞の重み共有を是正すること。
• 画像分類タスクにおいて、生物学的妥当な局所接続ネットワークと標準畳み込みネットワークとの性能格差を埋めること。
• グローバルな重み共有を必要とせず、重み共有の誘導的バイアスを実装するメカニズムを開発すること。
• 深層ネットワークの表現が縁側ストリーム神経データにどの程度適合するかを向上させ、視覚処理のモデルとしての有効性を裏付けること。
• 横方向結合による動的重み共有が、既知の神経的制約と整合しつつ、畳み込みネットワークの性能を近似可能であることを示すこと。

提案手法

• 各層内に横方向結合を導入し、ニューロンのサブグループが活動と重みを共有可能にする。
• 周期的な「睡眠様」フェーズにおいてヘブニアン可塑性を用いて、ニューロンサブグループ間で重みを均等化し、動的重み共有の一種を模倣する。
• 重み共有の安定化のため、反ヘブニアン学習を用い、収束を保証し発散を防止する。
• 学習バッチごとに n バッチごとに動的重み共有メカニズムを適用し、空間的位置間で重みを定期的に再同期可能にする。
• 学習には標準的な誤差逆伝搬法を用いるが、重み共有フェーズは局所的ダイナミクスに従って独立して動作する。
• CIFAR-10、CIFAR-100、TinyImageNet、ImageNet における性能を、さまざまなハイパーパramータと重み共有頻度で評価する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな重み共有を必要とせず、局所接続ネットワークが畳み込みネットワークと同等の性能を達成できるか？
• RQ2 横方向結合とヘブニアン可塑性による動的重み共有が、画像分類タスクの性能向上に寄与するか？
• RQ3 この手法が、Brain-Score で測定した縁側ストリーム神経データへの適合性を向上させられるか？
• RQ4 データ拡張による画像の平行移動と比較して、動的重み共有は性能格差をどの程度是正できるか？
• RQ5 提案手法は、畳み込みネットワークの誘導的バイアスを近似しつつ、生物学的妥当性を維持できるか？

主な発見

• 横方向結合による動的重み共有により、局所接続ネットワークが ImageNet で 61.7% のトップ1正答率を達成し、標準畳み込みネットワーク（63.5%）と比較してわずか 1.8% の差にとどまる。
• この手法により、局所接続ネットワークと畳み込みネットワークとの性能格差が縮小され、特に重み共有を 10 バッチごとに適用した場合に顕著に顕著に改善される。
• CIFAR-10 および CIFAR-100 では、動的重み共有が標準的な局所接続ネットワークや複数の平行移動によるデータ拡張を常に上回る性能を示す。
• Brain-Score で測定した縁側ストリームデータへの適合性が向上し、視覚処理の生物学的妥当なモデルとしての有効性が裏付けられる。
• 1 枚あたり 16 回の平行移動によるデータ拡張では性能格差が埋められず、過剰なデータを要するにもかかわらず、動的重み共有手法に劣る。
• 局所学習則と横方向結合を用いることで、生物学的妥当性を維持しつつ、ほぼ畳み込みネットワーク並みの性能を達成する。