[論文レビュー] Direct Feedback Alignment Scales to Modern Deep Learning Tasks and Architectures

Julien Launay, Iacopo Poli+2 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Memory and Neural Computing参考文献 87被引用数 5

ひとこと要約

本論文は、直接フィードバックアライメント（DFA）が、ニューラルレイトランスフィールド、レコメンデーションシステム、グラフニューラルネットワーク、トランスフォーマーを含む現代の深層学習アーキテクチャを、重み伝搬を必要とせずに、バックプロパゲーションと同等の性能で効果的に学習できることを示している。従来、複雑なタスクへのスケーリングに限界があったが、DFAはシナプスの非対称性下でも効率的かつ並列化可能な学習を可能にし、重み伝搬が高性能学習に不可欠であるという考えを覆している。

ABSTRACT

Despite being the workhorse of deep learning, the backpropagation algorithm is no panacea. It enforces sequential layer updates, thus preventing efficient parallelization of the training process. Furthermore, its biological plausibility is being challenged. Alternative schemes have been devised; yet, under the constraint of synaptic asymmetry, none have scaled to modern deep learning tasks and architectures. Here, we challenge this perspective, and study the applicability of Direct Feedback Alignment to neural view synthesis, recommender systems, geometric learning, and natural language processing. In contrast with previous studies limited to computer vision tasks, our findings show that it successfully trains a large range of state-of-the-art deep learning architectures, with performance close to fine-tuned backpropagation. At variance with common beliefs, our work supports that challenging tasks can be tackled in the absence of weight transport.

研究の動機と目的

• 直接フィードバックアライメント（DFA）が、コンピュータビジョンを越えた現代の深層学習アーキテクチャやタスクにスケーリング可能かどうかを調査すること。
• トランスフォーマー、グラフ畳み込み、ニューラルレイトランスフィールドなどの複雑で最先端のモデルにおけるDFAの性能を評価すること。
• 深層学習における高精度を達成するには重み伝搬が必要であるという一般的な信念に挑戦すること。
• 高い表現能力と複雑な最適化のランドスケープを必要とする応用分野におけるDFAの実現可能性を評価すること。
• 二重ネットワーク推論などのアーキテクチャ的変更が、DFAの性能向上に寄与するかどうかを検討すること。

提案手法

• DFAは、グローバル損失を固定されたランダムなフィードバック行列を通じて各層の重みに直接投影することで、重み伝搬の必要性を排除する。
• メモリ使用量の削減と大規模ネットワークへのスケーリングを可能にするために、共有ランダム行列のテクニックを採用する。
• 各層において、グローバル損失を固定されたランダム行列を介して線形投影することで誤差信号を計算し、局所的かつ非同期的な重み更新を可能にする。
• このアプローチは、全結合ネットワーク、グラフ畳み込み、トランスフォーマー、NeRFベースのモデルなど、多様なアーキテクチャに適用される。
• 実験では、NeRF、レコメンデーションシステム、幾何学的学習、自然言語処理タスクにおいてDFAを用いた学習を行い、微調整されたバックプロパゲーションと比較する。
• アブレーションスタディでは、粗いと細かいネットワーク出力の平均化を行うNeRF-Dualと、より広いネットワークバージョン（NeRF-XL）を用いて、頑健性と性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 DFAは、トランスフォーマーやグラフニューラルネットワークのような現代の深層学習アーキテクチャを、バックプロパゲーションと同等の性能で学習できるか？
• RQ2 DFAは、ニューラルレイトランスフィールドや大規模レコメンデーションシステムのような複雑で高容量のモデルに効果的にスケーリングできるか？
• RQ3 注意機構に特化したアーキテクチャでは、DFAとバックプロパゲーションの間で性能差が生じる場合、その制限要因は何か？
• RQ4 二重ネットワーク推論やネットワーク幅の増大といったアーキテクチャ的変更が、DFAにおける性能ギャップを是正できるか？
• RQ5 複雑な深層学習タスクにおいて、重み伝搬は真に高性能な学習に不可欠なのか？

主な発見

• DFAは、ニューラルビューサンセシス、レコメンデーションシステム、幾何学的学習、自然言語処理分野の最先端モデルを、微調整されたバックプロパゲーションと同等の性能で効果的に学習した。
• トランスフォーマーでは、DFAとバックプロパゲーションの間に性能ギャップが存在し、大規模で複雑なアーキテクチャでは一般的な学習手法の見直しが必要である可能性を示唆している。
• NeRF-Dualは、粗いと細かいネットワークの予測を平均化することで高周波数ノイズを低減し、視覚的品質を向上させたが、PSNRの向上はほとんどなく（1シーンあたり0.5 dB未満）、限定的であった。
• ネットワーク幅を広げること（NeRF-XL）は、DFA下でPSNRを向上させず、むしろメモリ使用量が増加し、マルチGPU環境を必要とするようになり、学習がより重くなった。
• 重み伝搬が存在しないにもかかわらず、DFAは多様なアーキテクチャで競争力のある結果を達成しており、高精度な学習にはシナプスの対称性が必要であるという仮定を覆している。
• DFAは、V100で500 GPU時間未満で再現可能であり、NeRFおよびレコメンデーションシステムの完全なコードと学習済みモデルが提供されている。