[論文レビュー] Feedback alignment in deep convolutional networks

Theodore Moskovitz, Ashok Litwin-Kumar+1 more|arXiv (Cornell University)|Dec 12, 2018

Advanced Memory and Neural Computing参考文献 25被引用数 45

ひとこと要約

この論文はフィードバックアライメント（FA）を深層畳み込みネットへ拡張し、符号整合フィードバックと正規化戦略を導入することで、様々なCNNアーキテクチャにおけるバックプロパゲーションと競合するImageNetパフォーマンスをFAが達成できるようにした。

ABSTRACT

Ongoing studies have identified similarities between neural representations in biological networks and in deep artificial neural networks. This has led to renewed interest in developing analogies between the backpropagation learning algorithm used to train artificial networks and the synaptic plasticity rules operative in the brain. These efforts are challenged by biologically implausible features of backpropagation, one of which is a reliance on symmetric forward and backward synaptic weights. A number of methods have been proposed that do not rely on weight symmetry but, thus far, these have failed to scale to deep convolutional networks and complex data. We identify principal obstacles to the scalability of such algorithms and introduce several techniques to mitigate them. We demonstrate that a modification of the feedback alignment method that enforces a weaker form of weight symmetry, one that requires agreement of weight sign but not magnitude, can achieve performance competitive with backpropagation. Our results complement those of Bartunov et al. (2018) and Xiao et al. (2018b) and suggest that mechanisms that promote alignment of feedforward and feedback weights are critical for learning in deep networks.

研究の動機と目的

• 学習規則における重みの対称性を緩和することによる生物学的に妥当なクレジット割り当ての動機付け。
• 元のFAが深いCNNと複雑なデータに苦戦する理由を調査する。
• 深層アーキテクチャでの性能と安定性を改善するためのFAの改変を開発する。
• 固定的な興奮性/抑制性結合性と重みノルム制約が学習に与える影響を検討する。

提案手法

• 畳み込み層でエラー伝播のために別個の後向きフィードバック行列Bを用いてフィードバックアライメントを適用する。
• forward weights W の符号と一致するようにBを配置した符号整合フィードバック（uSF）を導入する。
• 勾配の大きさを制御しアライメントを維持する正規化戦略（SN、Init.）を提案する。
• 固定の興奮性/抑制性（E/I）結合性と学習への影響を探索する。
• 複数のアーキテクチャでMNIST、CIFAR-10、ImageNetにおけるFAの派生を評価する。
• FAの派生をBP、DFA、DenseFAと比較し、効果を分離するために定数ノルム実験を含める。）

実験結果

リサーチクエスチョン

• RQ1 標準的な視覚ベンチマークで深いCNNにおいてFAスケール法はバックプロパゲーションの性能に匹敵できるか。
• RQ2 符号整合フィードバックと勾配正規化はFAの深層アーキテクチャへのスケーラビリティを改善するか。
• RQ3 重みノルムの制約や興奮性/抑制性符号の固定がFAによる学習へ与える影響は何か。
• RQ4 生物学的妥当性のシナリオ（例：E/I制約）がFAでの効果的な学習を依然として支えるか。

主な発見

方法	MNIST	CIFAR-10 1	CIFAR-10 2	ImageNet 1	ImageNet 2
BP	0.8	17.2	11.0	79.5	45.5
BP + Noise	0.8	17.4	11.0	79.2	46.0
BP + Alignment	0.9	17.4	11.2	79.4	45.9
FA	1.1	26.6	35.6	95.2	94.5
FA-uSF Init. E/I	0.9	18.9	17.8	86.9	67.8
FA-uSF Init.	0.7	17.6	13.1	79.6	60.1
FA-uSF SN	0.7	17.7	12.6	78.9	54.4
DFA	1.0	28.6	-	-	-
DenseFA	0.7	16.9	-	-	-
BP Const.	-	-	-	46.9	-
FA-uSF Const.	-	-	-	51.2	-
FA-uSF Const E/I	-	-	-	66.1	-

• 符号整合フィードバックと正規化を用いたFA派生は、複数のデータセットでBPに対して競争力のあるTop-1誤差を達成する。
• ImageNetでは、符号整合フィードバックと初期化/ノルム制御を備えたFAがBPとのギャップを縮め、特定の構成で近い性能を達成する。
• 異なるFA適応（Init.、SN、E/I、Const.）はさまざまな利得をもたらし、いくつかの方法はFA–BPのギャップを大幅に縮小する（例：FA-uSF Init. と SN）。
• 前方ウェイトノルムを制約することでFAの性能が向上し、報告された設定でFA-uSF ConstはImageNetのTop-1 51.2%を達成。
• 固定ウェイト符号制約（E/I）は学習を著しく妨げ、FA性能には柔軟な符号ダイナミクスが重要であることを示す。
• 直接比較ではDFAとDenseFAが限られた文脈で競争力ある結果を示せるが、メモリ制約が大規模モデルでの使用を制限する。