[論文レビュー] Monolithic Silicon Photonic Architecture for Training Deep Neural Networks with Direct Feedback Alignment

Matthew J. Filipovich, Zhimu Guo+7 more|arXiv (Cornell University)|Nov 12, 2021

Neural Networks and Reservoir Computing参考文献 40被引用数 4

ひとこと要約

本論文は、直接フィードバックアライメントを用いてオンチップで深層ニューラルネットワークをトレーニングするためのモノリシックシリコンフォトニクスアーキテクチャを提案する。これにより、1秒間にトロイションのMAC演算が可能になり、1ピコジュール未満のエネルギー効率を達成する。このシステムは、バックプロパゲーション中の並列かつイン・サイトでの勾配計算を実現するため、マイクロリングレゾネータアレイを用いる。実験的に、フォトリックMAC演算を用いてMNIST上でトレーニングを実現した。

ABSTRACT

The field of artificial intelligence (AI) has witnessed tremendous growth in recent years, however some of the most pressing challenges for the continued development of AI systems are the fundamental bandwidth, energy efficiency, and speed limitations faced by electronic computer architectures. There has been growing interest in using photonic processors for performing neural network inference operations, however these networks are currently trained using standard digital electronics. Here, we propose on-chip training of neural networks enabled by a CMOS-compatible silicon photonic architecture to harness the potential for massively parallel, efficient, and fast data operations. Our scheme employs the direct feedback alignment training algorithm, which trains neural networks using error feedback rather than error backpropagation, and can operate at speeds of trillions of multiply-accumulate (MAC) operations per second while consuming less than one picojoule per MAC operation. The photonic architecture exploits parallelized matrix-vector multiplications using arrays of microring resonators for processing multi-channel analog signals along single waveguide buses to calculate the gradient vector of each neural network layer in situ, which is the most computationally expensive operation performed during the backward pass. We also experimentally demonstrate training a deep neural network with the MNIST dataset using on-chip MAC operation results. Our novel approach for efficient, ultra-fast neural network training showcases photonics as a promising platform for executing AI applications.

研究の動機と目的

• 電子アーキテクチャの制限に起因する、エネルギー効率が高く高速なAIハードウェアへの需要の増大に対応する。
• 電子的トレーニングのボトルネックを克服するため、オンチップでニューラルネットワークのトレーニングにフォトニクス処理を統合する。
• バックプロパゲーション中の並列フォトニックMAC演算を用いて、リアルタイムかつイン・サイトでの勾配計算を実現する。
• 完全にフォトニックハードウェアのみを用いて深層ニューラルネットワークをトレーニングする可能性を実証し、デジタル電子回路への依存を最小限に抑える。

提案手法

• マイクロリングレゾネータアレイを用いて、CMOS互換のシリコンフォトニクスプラットフォーム上で、多数並列処理が可能なアナログ行列・ベクトル乗算を実装する。
• 単一の波ガイドバスを用いてマルチチャネルアナログ信号を伝送し、フォトニックプロセッサ間の効率的な相互接続を実現する。
• 誤差勾配を逆伝播するのではなく、誤差フィードバックを計算する直接フィードバックアライメントアルゴリズムを実装する。
• 各ニューラルネットワーク層に対してフォトニック素子を用いてイン・サイトでの勾配ベクトル計算を実行し、計算遅延を低減する。
• 同じハードウェアを前向き伝搬と逆向き伝搬の両方の処理に使用できるように、フォトニックアーキテクチャを統合する。
• シリコンフォトニクスの高帯域幅と低消費電力の利点を活かし、1秒間にトロイションのMAC演算を達成する。

実験結果

リサーチクエスチョン

• RQ1 モノリシックシリコンフォトニクスアーキテクチャは、十分な速度とエネルギー効率を備えて、オンチップでの深層ニューラルネットワークのトレーニングを実現できるか？
• RQ2 直接フィードバックアライメントはフォトニックハードウェアプラットフォームに効果的に実装可能であり、バックプロパゲーションのボトルネックを回避できるか？
• RQ3 フォトニックMAC演算は、深層ニューラルネットワークのエンド・ツー・エンドトレーニングに必要な精度と安定性を満たすか？
• RQ4 電子実装と比較して、フォトニック勾配計算のエネルギーおよび速度性能はどの程度か？

主な発見

• フォトニックアーキテクチャは1秒間にトロイションの乗算累積（MAC）演算を達成し、超高速なニューラルネットワークトレーニングを可能にする。
• MAC演算1回あたりのエネルギー消費は1ピコジュール未満であり、電子システムに比べて顕著にエネルギー効率が向上している。
• フォトニック行列・ベクトル乗算を用いて各層のイン・サイト勾配計算を実現し、遅延とハードウェアオーバーヘッドを低減している。
• 実験結果により、オンチップフォトニックMAC演算のみを用いてMNISTデータセット上で深層ニューラルネットワークのトレーニングに成功した。
• 直接フィードバックアライメントアルゴリズムにより、ネットワークを逆伝播しなくても安定的かつ効率的なトレーニングが可能になった。
• CMOS互換の設計により、既存の電子システムとの統合が可能であり、ハイブリッドフォトニック・エレクトロニクスAIアクセラレータの実現が可能になった。