[論文レビュー] How Important is Weight Symmetry in Backpropagation?

Qianli Liao, Joel Z. Leibo+1 more|arXiv (Cornell University)|Oct 17, 2015

Machine Learning and ELM参考文献 50被引用数 64

ひとこと要約

この論文は、深層学習における誤差逆伝播（BP）において重みの対称性が必須であるかどうかを調査する。著者らは符号整合性を持つフィードバック重みを用いた非対称BPを提案し、バッチ正規化（BN）および/またはバッチマンハッタン（BM）正則化を用いる限り、フィードバック重みの大きさがランダムであっても性能が維持されることを示している。主な発見は、前向き伝播とフィードバック重みの間で符号の整合性が保たれていれば、その大きさは重要でないということであり、これはBPが完全な重み対称性を必要としない生物的裏付けのある学習法である可能性を示唆している。

ABSTRACT

Gradient backpropagation (BP) requires symmetric feedforward and feedback connections -- the same weights must be used for forward and backward passes. This "weight transport problem" (Grossberg 1987) is thought to be one of the main reasons to doubt BP's biologically plausibility. Using 15 different classification datasets, we systematically investigate to what extent BP really depends on weight symmetry. In a study that turned out to be surprisingly similar in spirit to Lillicrap et al.'s demonstration (Lillicrap et al. 2014) but orthogonal in its results, our experiments indicate that: (1) the magnitudes of feedback weights do not matter to performance (2) the signs of feedback weights do matter -- the more concordant signs between feedforward and their corresponding feedback connections, the better (3) with feedback weights having random magnitudes and 100% concordant signs, we were able to achieve the same or even better performance than SGD. (4) some normalizations/stabilizations are indispensable for such asymmetric BP to work, namely Batch Normalization (BN) (Ioffe and Szegedy 2015) and/or a "Batch Manhattan" (BM) update rule.

研究の動機と目的

• 誤差逆伝播における完全な重み対称性が高パフォーランスに必要かどうかを調査すること。
• 標準的なBPの代替として、重み輸送問題を緩和する生物学的に妥当な手法を検討すること。
• 非対称BPが機能するために不可欠な要素（例：正規化、更新ルール）を特定すること。
• 学習パフォーマンスに与えるフィードバック重みの符号整合性と大きさの役割を評価すること。
• 適切な安定化処理を施せば、ランダムまたは固定のフィードバック重みでも効果的な学習が可能かどうかを評価すること。

提案手法

• 著者らは、前向き伝播とフィードバック重み行列を分離することで非対称誤差逆伝播を実装し、V ≠ W を許容する。
• フィードバック重みの大きさと符号を系統的に変化させ、それらが学習に与える影響をテストする。
• 非対称フィードバックでの学習を安定化させるために、バッチ正規化（BN）と新しいバッチマンハッタン（BM）更新ルールを適用する。
• 15個の分類データセットを用いて、異なるフィードバック重み設定（ランダム、固定、符号整合的）のパフォーマンスを比較する。
• 最後の層のみ、または最初の層のみを学習させる制御実験を実施し、フィードバックの役割が誤差信号の伝搬に与える影響を分離する。
• さまざまなBM設定の効果を分析し、対称的および非対称BPの両方でその頑健性を確認する。

実験結果

リサーチクエスチョン

• RQ1 フィードバック重みの大きさは、誤差逆伝播における学習パフォーマンスに顕著な影響を及ぼすか？
• RQ2 符号の整合性のみを保った場合、フィードバック重みの大きさがランダムまたは固定であっても、誤差逆伝播が強力なパフォーマンスを達成できるか？
• RQ3 バッチ正規化のような正規化技術や、バッチマンハッタンのような更新ルールは、非対称BPの機能に不可欠か？
• RQ4 前向き伝播とフィードバック重みの間の符号整合性のレベルが、学習パフォーマンスにどのように影響するか？
• RQ5 BNおよび/またはBMと組み合わせた場合、ランダムなフィードバック重みでも効果的な学習が可能になるか？そのメカニズムは何か？

主な発見

• フィードバック重みの大きさはパフォーマンスに顕著な影響を及ぼさない。重要となるのは符号の整合性のみである。
• 100%の符号整合性とランダムな大きさを有する非対称BPは、標準的なSGDと同等またはそれ以上のパフォーマンスを達成する。
• バッチ正規化と/またはバッチマンハッタンは、非対称フィードバックでの学習を安定化させるために不可欠である。それらがなければ、勾配が発散または消失する。
• 固定されたランダムなフィードバック重みでさえ、BNを組み合わせると確率的性能を上回る。これは、層間の共適応が学習を可能にしている可能性を示唆する。
• 符号整合性のあるフィードバックは、下位層への意味のある誤差信号の伝達を保証するが、BNなしではランダムなフィードバックでは失敗する。
• バッチマンハッタンとバッチ正規化は相補的であり、特に小さなデータセットではパフォーマンスを顕著に向上させる。