[論文レビュー] Light-in-the-loop: using a photonics co-processor for scalable training of neural networks

Julien Launay, Iacopo Poli+5 more|arXiv (Cornell University)|Jun 2, 2020

Neural Networks and Reservoir Computing参考文献 16被引用数 5

ひとこと要約

本論文は、オフアクシスホログラフィーを用いて大規模な光的ランダムプロジェクションを実行することで、直接フィードバックアライメント（DFA）を介したニューラルネットワーク学習を加速するフォトニックコプロセッサの初の実験的デモンストレーションを提示している。システムは1.5 kHzのプロジェクションレートでMNISTで95.8％のテスト精度を達成し、最大30Wの消費電力で動作し、大規模モデルのためのスケーラブルで低消費電力なGPUベースの学習の代替手段を提供する。

ABSTRACT

As neural networks grow larger and more complex and data-hungry, training costs are skyrocketing. Especially when lifelong learning is necessary, such as in recommender systems or self-driving cars, this might soon become unsustainable. In this study, we present the first optical co-processor able to accelerate the training phase of digitally-implemented neural networks. We rely on direct feedback alignment as an alternative to backpropagation, and perform the error projection step optically. Leveraging the optical random projections delivered by our co-processor, we demonstrate its use to train a neural network for handwritten digits recognition.

研究の動機と目的

• 大規模ニューラルネットワークの学習に伴う計算コストとエネルギー消費の増大を是正すること、特にレコメンデーションシステムや自動運転車両のような生涯学習のシナリオにおいて。
• バックプロパゲーションの逐次的依存性を回避するため、直接フィードバックアライメント（DFA）を用いたハイブリッドアナログ・デジタル学習アクセラレータを開発すること。
• フォトニックコプロセッサを用いてDFAに不可欠な大規模かつ低消費電力のランダムプロジェクションを実行する可能性を実証すること。
• 誤差プロジェクションステップを光学にオフロードすることで、メモリを必要としないスケーラブルなディープニューラルネットワークの学習を可能にすること。同時に、デジタル推論を維持すること。

提案手法

• バックプロパゲーションの代替手段として直接フィードバックアライメント（DFA）を採用し、各層への更新を固定されたランダム行列を用いてグローバル誤差を各層にプロジェクションすることで、層間の依存性を分離する。
• LightOn社の光学プロセッシングユニット（OPU）を用い、オフアクシスホログラフィーにより誤差ベクトルの光的ランダムプロジェクションを実行することで、高速かつ低消費電力の線形変換を実現する。
• 空間光変調器を介して誤差ベクトルをコherent光ビームにエンコードし、散乱媒体を通過させることでスプライクルパターンを生成し、カメラで撮像する。
• 干渉計的オフアクシスホログラフィーを用いて複素数値のプロジェクションベクトルを再構成し、誤差ベクトルの光的ランダムプロジェクションを回復する。
• 光学プロジェクションをデジタル学習ループに統合する：フォトニックコプロセッサが重み更新のための誤差信号を計算し、前方伝搬はデジタルハードウェアで実行する。
• 光学入力デバイスとの互換性を確保しつつ信号歪みを最小限に抑えるために、誤差ベクトルを±1または0に量子化する。これにより、学習性能を維持しつつ、信号歪みを低減する。

実験結果

リサーチクエスチョン

• RQ1 フォトニックコプロセッサは、光的ランダムプロジェクションを大規模に実行することで、ディープニューラルネットワークの学習を効果的に高速化できるか？
• RQ2 標準ベンチマークにおいて、光的DFAの性能は、標準的なバックプロパゲーションと比較して、精度および収束性の点でどの程度差があるか？
• RQ3 オフアクシスホログラフィーによる光的ランダムプロジェクションは、大規模モデルの学習を維持しつつ、サイズと速度の両面でどの程度スケーリング可能か？
• RQ4 このハイブリッド光デジタルアプローチは、大規模ニューラルネットワークの学習において、GPUベースの学習に比べて顕著なエネルギー効率の向上を達成できるか？
• RQ5 現在の光学ハードウェアの入力サイズ、出力解像度、およびデジタル学習パイプラインへの統合という点で、実用的な制限は何か？

主な発見

• フォトニックコプロセッサは1.5 kHzのレートで光的ランダムプロジェクションを実行でき、最大で約10^5要素の出力サイズを達成した。
• 同じ学習設定で、MNIST手書き数字認識タスクにおいて95.8％のテスト精度を達成した。
• GPU上で同じ設定を実行した場合、学習率0.001で97.6％の精度を達成し、非量子化誤差バージョンでは97.7％に達した。これは量子化によるわずかな性能差を示している。
• 光学システムの消費電力はわずか約30Wであり、大規模学習においてGPUに比べて1桁のエネルギー効率の向上が見込まれる。
• このアーキテクチャはニューラルネットワークの構造に依存せず、中間勾配の保存にメモリを必要としないため、スケーラブルな展開が可能である。
• 位相シフトホログラフィーに切り替えることで、10^6の入出力次元へのスケーリングが可能となり、トロイアンパラメータ計算が実現可能となる。