[論文レビュー] All-optical ultrafast ReLU function for energy-efficient nanophotonic deep learning

Gordon H. Y. Li, Ryoto Sekine+5 more|arXiv (Cornell University)|Jan 11, 2022

Photonic and Optical Devices被引用数 7

ひとこと要約

本論文は、周期的ポリングLiNbO₃（PPLN）ナノフォトニクス波導を用いて、最初のすべて光的で、超高速かつエネルギー効率の良い整流線形ユニット（ReLU）活性化関数を実装することに成功した。1回の活性化あたり約16 fJのエネルギー消費と約75 fsの応答時間を達成し、1.2×10⁻²⁷ J·sという最先端のエネルギー・時間積を実現した。これにより、完全にフォトリックなディープラーニングシステムの実現への道筋が開かれた。

ABSTRACT

In recent years, the computational demands of deep learning applications have necessitated the introduction of energy-efficient hardware accelerators. Optical neural networks are a promising option; however, thus far they have been largely limited by the lack of energy-efficient nonlinear optical functions. Here, we experimentally demonstrate an all-optical Rectified Linear Unit (ReLU), which is the most widely used nonlinear activation function for deep learning, using a periodically-poled thin-film lithium niobate nanophotonic waveguide and achieve ultra-low energies in the regime of femtojoules per activation with near-instantaneous operation. Our results provide a clear and practical path towards truly all-optical, energy-efficient nanophotonic deep learning.

研究の動機と目的

• 光神経ネットワークにおける重要なボトルネックである、エネルギー効率的で超高速なすべて光的非線形活性化関数の欠如を解決すること。
• フォトリックシステムに速度的・エネルギー的オーバーヘッドを引き起こす電子的実装の限界を克服すること。
• 非線形活性化をフォトリック統合回路に直接統合可能な、コンactでスケーラブルかつ互換性のあるソリューションを開発すること。
• 完全にすべて光的でエネルギー効率の良いナノフォトニクス分野のディープラーニングへの実用的道筋を示すこと。

提案手法

• 入力信号を2ω周波数における位相状態（±π/2）として符号化し、ω周波数で固定位相バイアスを設定する。
• 周期的ポリングLiNbO₃（PPLN）ナノフォトニクス波導を用いてχ⁽²⁾非線形過程を実現：正の入力では二次高調波発生（SHG）、負の入力では退化型光パラメトリック増幅（DOPA）を用いる。
• 位相一致条件を活用し、ωと2ω周波数間のエネルギー移動の方向を決定する位相関係2ϕω − ϕ₂ωを制御する。
• 正の入力では増幅された2ω出力をルーティングし、負の入力では抑制することで、ReLU関数を実装し、負の値をゼロに設定する。
• 正確な位相制御を備えたコherent光パルスを用いて、光ドメインにおけるアナログ活性化値を表現する。
• コンact波導平台における非線形光起電力の内在的高速性を活かして、超高速動作を達成する。

実験結果

リサーチクエスチョン

• RQ1 フェムトジュールレベルのエネルギー消費と100 fs未満の応答時間を達成できるすべて光的ReLU関数を実装できるか？
• RQ2 PPLNナノフォトニクス波導が、実用的なReLU動作に必要な位相一致と非線形効率を達成できるか？
• RQ3 すべて光的ReLUのエネルギー・時間積は、最先端のデジタル電子回路と比べてどうなるか？
• RQ4 電子的オフロードを必要とせずに、既存の光神経ネットワークアーキテクチャに統合可能か？
• RQ5 このデバイスはスケーラブルであり、既存のディープラーニングモデルおよびフォトリック統合プラットフォームと互換性があるか？

主な発見

• すべて光的ReLUは、1回の活性化あたり約16 fJのエネルギー消費を達成し、光の非線形関数におけるエネルギー効率の顕著な向上を示した。
• デバイスは約75 fsの応答時間を達成し、電子的対比をはるかに上回る超高速計算を可能にした。
• 1.2×10⁻²⁷ J·sというエネルギー・時間積は、高い1回あたりエネルギー消費にもかかわらず、最先端のデジタル電子回路よりも3桁優れている。
• 数値シミュレーションでは、最適化された位相一致と製造誤差の低減により、フェムトジュール未満のエネルギー消費が可能であると予測された。
• デバイスは複数のReLUバリエーションを正常に実装でき、フォトリック統合回路における既存の線形光操作と級列接続が可能である。
• 薄膜リチウニオブート酸化物における高帯域電気光変調器およびオンチップ光源とモノリシック統合が可能であり、完全なフォトリックニューラルネットワークアーキテクチャの実現が可能である。