[論文レビュー] L2ight: Enabling On-Chip Learning for Optical Neural Networks via Efficient in-situ Subspace Optimization

Jiaqi Gu, Hanqing Zhu+4 more|arXiv (Cornell University)|Oct 27, 2021

Neural Networks and Reservoir Computing被引用数 7

ひとこと要約

L$^2$ight は、3段階のプロセスであるイン・サイトキャリブレーション、解析的およびゼロ次最適化を用いた並列光コアマッピング、およびリアルタイム勾配評価のための多段階スパース部分空間学習を用いて、シリコンフォトニクスベースの光ニューラルネットワーク（ONNs）におけるスケーラブルで効率的なオンチップ学習フレームワークを提案する。従来手法と比較して、スケーラビリティが3桁向上し、30倍以上高い効率性を達成し、初めてオンチップで100万パラメータのONN学習を実現した。

ABSTRACT

Silicon-photonics-based optical neural network (ONN) is a promising hardware platform that could represent a paradigm shift in efficient AI with its CMOS-compatibility, flexibility, ultra-low execution latency, and high energy efficiency. In-situ training on the online programmable photonic chips is appealing but still encounters challenging issues in on-chip implementability, scalability, and efficiency. In this work, we propose a closed-loop ONN on-chip learning framework L2ight to enable scalable ONN mapping and efficient in-situ learning. L2ight adopts a three-stage learning flow that first calibrates the complicated photonic circuit states under challenging physical constraints, then performs photonic core mapping via combined analytical solving and zeroth-order optimization. A subspace learning procedure with multi-level sparsity is integrated into L2ight to enable in-situ gradient evaluation and fast adaptation, unleashing the power of optics for real on-chip intelligence. Extensive experiments demonstrate our proposed L2ight outperforms prior ONN training protocols with 3-order-of-magnitude higher scalability and over 30X better efficiency, when benchmarked on various models and learning tasks. This synergistic framework is the first scalable on-chip learning solution that pushes this emerging field from intractable to scalable and further to efficient for next-generation self-learnable photonic neural chips. From a co-design perspective, L2ight also provides essential insights for hardware-restricted unitary subspace optimization and efficient sparse training. We open-source our framework at https://github.com/JeremieMelo/L2ight.

研究の動機と目的

• ハードウェア制約と非理想なフォトニック素子による影響を受ける光ニューラルネットワーク（ONNs）におけるオンチップ学習のスケーラビリティと効率性の向上という、極めて重要な課題に取り組む。
• 勾配評価と回路キャリブレーションの制限を克服することで、プログラマブルフォトニックチップ上でリアルタイムでイン・サイト学習を可能にする。
• デバイスのばらつきやノイズに強く、大規模なONN学習（最大100万パラメータのモデルまで）をサポートする共同設計フレームワークを開発する。
• フィードバック、特徴、データサンプリングの3段階のスパarsityを統合することで、精度を損なわずにオンチップ学習のエネルギー消費と実行時間を削減する。
• 学習された部分空間の転送可能性と適応性を実証し、ONNsにおけるタスク転送と自己学習を可能にする。

提案手法

• 3段階の学習フローを提案する：(1) 変動に依存しないアイデンティティキャリブレーションによる非理想フォトニック状態の安定化、(2) 解析的解法とゼロ次最適化を用いた交替投影ベースの並列マッピング、(3) イン・サイト勾配評価のための多段階スパース部分空間学習。
• ユニタリ行列（U, V*）をマッピング後に固定し、パラメータ空間を削減することで、効率的なオンチップ適応を可能にする、制限付きユニタリ部分空間最適化を採用する。
• 勾配推定中に必要な光場測定回数を削減するバランスの取れたフィードバックサンプリングを導入し、オンチップエネルギーコストを最小限に抑える。
• 情報保持型の列特徴サンプリングを適用し、最も関連性の高いフォトニックパスのみを更新することで、学習効率を向上させる。
• 均等にサブサンプリングするランタイム削減型データサンプリングを導入し、計算量を削減しつつ精度の低下を最小限に抑え、正則化効果を発揮する。
• フィードバック、特徴、データの3つのスパarsity機構を統合することで、多様なタスクにおいてモデル精度を維持しつつ、高い学習効率を実現する。

実験結果

リサーチクエスチョン

• RQ1 実際のハードウェア制約のもとで、光ニューラルネットワークにおけるオンチップ学習が100万パラメータのモデルにスケーリング可能か？
• RQ2 観測可能性が制限されたフォトニックハードウェアにおいて、イン・サイト勾配評価をどのように効率的かつエネルギー効率よく実現できるか？
• RQ3 回路の非理想性が存在する中で、制限付き部分空間最適化がモデルの学習可能性と転送可能性をどの程度保持できるか？
• RQ4 効率的なONN学習のための、フィードバック、特徴、データの3段階スパarsityにおける最適なトレードオフは何か？
• RQ5 提案されたフレームワークは、デバイスのばらつきやノイズをリアルタイムで補償できる、強固で自己適応型のONNsを実現できるか？

主な発見

• L$^2$ight は、従来のオンチップ学習プロトコルと比較して、スケーラビリティが3桁以上向上し、最大約1000万パラメータまでスケーリング可能である。一方、従来手法では約100～2,500パラメータに留まっていた。
• フレームワークは、従来のスパース学習手法と比較して、30倍以上の高い学習効率を達成した。統合されたデータサンプリングにより3倍の高速化が実現され、勾配計算が削減された。
• 最適化されたユニタリ基底（U, V*）を用いた部分空間学習により、精度が5～6%向上し、エネルギー消費とステップ数がそれぞれ9.9倍削減された。
• マッピング精度が60%でさえも、部分空間学習により精度が約90%まで回復した。これは、最適でないキャリブレーションやマッピングに対しても高い耐性を示している。
• 継承されたユニタリ基底を用いたイン・サイト転移学習では、ランダム初期化からの学習と比較して、1～2%の精度向上と3～5倍のステップ削減が達成され、優れた転送可能性が確認された。
• 重み勾配計算において約1%のスパarsityを適用しても、精度は約1%の低下にとどまり、効率性の向上がモデル性能に悪影響を及げないことを実証した。