[論文レビュー] Hardware Beyond Backpropagation: a Photonic Co-Processor for Direct Feedback Alignment

Julien Launay, Iacopo Poli+6 more|arXiv (Cornell University)|Dec 11, 2020

Neural Networks and Reservoir Computing参考文献 26被引用数 10

ひとこと要約

本論文は、勾配逆伝播とは異なり、勾配逆伝播に代わる1つのランダム射影を用いる、バックプロパゲーションフリーな手法である直接フィードバックアライメント（DFA）を用いた深層ニューラルネットワークの学習を実現する、アーキテクチャに依存しない光デバイス共同プロセッサを初めて提示する。このシステムは、光でトリリオン規模のパラメータを持つランダム射影を計算し、スケーラブルで通信効率の高い学習を可能にする。MNISTおよびCoraベンチマークにおいてGPUベースのDFAと同等の性能を達成しており、従来のバックプロパゲーションを超える極大規模の深層学習における光デバイスハードウェアの実現可能性を示している。

ABSTRACT

The scaling hypothesis motivates the expansion of models past trillions of parameters as a path towards better performance. Recent significant developments, such as GPT-3, have been driven by this conjecture. However, as models scale-up, training them efficiently with backpropagation becomes difficult. Because model, pipeline, and data parallelism distribute parameters and gradients over compute nodes, communication is challenging to orchestrate: this is a bottleneck to further scaling. In this work, we argue that alternative training methods can mitigate these issues, and can inform the design of extreme-scale training hardware. Indeed, using a synaptically asymmetric method with a parallelizable backward pass, such as Direct Feedback Alignement, communication needs are drastically reduced. We present a photonic accelerator for Direct Feedback Alignment, able to compute random projections with trillions of parameters. We demonstrate our system on benchmark tasks, using both fully-connected and graph convolutional networks. Our hardware is the first architecture-agnostic photonic co-processor for training neural networks. This is a significant step towards building scalable hardware, able to go beyond backpropagation, and opening new avenues for deep learning.

研究の動機と目的

• 従来のバックプロパゲーションでは、トリアリオン規模以上のパラメータを有する深層学習モデルのスケーリングに伴う通信ボトルネックを解消すること。
• 全結合層やグラフ畳み込みネットワークを含む、あらゆるニューラルネットワーク構造に適用可能な、アーキテクチャに依存しない光デバイス共同プロセッサを設計・実証すること。
• 標準ベンチマークでGPUレベルの性能を再現することで、光デバイスハードウェアが深層ネットワークの学習に実現可能であるかを検証すること。
• バックプロパゲーションを超えるアルゴリズムと光デバイス加速を組み合わせることで、極大規模の深層学習の新たな道筋を拓くこと。

提案手法

• システムは、最終誤差信号をすべての層に一括してランダム射影することで、勾配逆伝播に代わる直接フィードバックアライメント（DFA）を実装する。
• シリコンフォトニクスを用いて、光でランダム射影を実行する共同プロセッサにより、トライリオン規模のパラメータを並列に処理可能である。
• この共同プロセッサはアーキテクチャに依存せず、全結合層やグラフ畳み込みネットワークを含むあらゆるニューラルネットワーク構造に適用可能である。
• ランダム射影の重みに三値化（ternarization）を適用することで、ビット深度を低減し、ハードウェア効率を向上させつつ、性能の損失を最小限に抑える。
• 1つの大きなランダム射影を分割して個々の層のフィードバック信号を生成することで、逆伝播における層間通信を完全に排除する。
• 光デバイス実装の妥当性は、MNIST（全結合）およびCora（グラフ畳み込み）タスクにおいて、GPUベースのDFAと比較して確認された。

実験結果

リサーチクエスチョン

• RQ1 直接フィードバックアライメント（DFA）の学習に必要な大規模なランダム射影を、光デバイス共同プロセッサが効率的に計算できるか？
• RQ2 光デバイスによるDFA実装は、標準ベンチマークタスクにおいてGPUベースのDFAと同等の性能を達成できるか？
• RQ3 光デバイス共同プロセッサは、全結合層およびグラフニューラルネットワークアーキテクチャの両方をサポートでき、ハードウェアに依存しないことを示せるか？
• RQ4 重みの量子化（例：三値化）が、光DFA学習の性能に与える影響は何か？
• RQ5 現在の光帯域幅および変調制限を考慮しても、GPT-3のような現代の大型モデルに必要なパラメータ規模まで、光デバイスハードウェアがスケーリング可能か？

主な発見

• 光デバイス共同プロセッサは、光で大規模なランダム射影を効果的に計算し、MNISTおよびCoraベンチマークにおける直接フィードバックアライメント（DFA）学習を実現した。
• 光DFA実装の性能は、GPUベースのDFAと同等であり、わずかな性能差は最小限のハイパーパramータチューニングおよびアナログシステムノイズに起因する。
• ランダム射影の重みに対する三値化は、テストされたタスクにおいて性能の低下を引き起こさず、モデルの正確性を維持した。
• t-SNE可視化により、光DFAシステムから得られた中間表現が、バックプロパゲーションから得られたものと同様に意味的に意味のあるものであることが確認された。
• システムは最大100万入力および200万出力までスケーリング可能であり、現在の電子ハードウェアの限界を超える極大規模の深層学習の可能性を示した。
• 共同プロセッサにより、全結合層やグラフ畳み込みネットワークを含むあらゆるニューラルネットワーク構造に適用可能である。