[論文レビュー] On-Chip Optical Convolutional Neural Networks

Hengameh Bagherian, Scott A. Skirlo+4 more|arXiv (Cornell University)|Aug 9, 2018

Neural Networks and Reservoir Computing参考文献 1被引用数 57

ひとこと要約

本論文は、チップ上に実装されたフォトニクスベースの畳み込みニューラルネットワーク（CNN）アーキテクチャを提案し、MZIネットワーク、光学非線形性、遅延線を用いて時間多重化光計算による高速・低消費電力のCNN推論を実現する。さらに、ハイブリッド光電子アプローチと実用的な課題についても論じている。

ABSTRACT

Convolutional Neural Networks (CNNs) are a class of Artificial Neural Networks(ANNs) that employ the method of convolving input images with filter-kernels for object recognition and classification purposes. In this paper, we propose a photonics circuit architecture which could consume a fraction of energy per inference compared with state of the art electronics.

研究の動機と目的

• GPUや従来の電子機器を超えた、エネルギー効率が高くスループットの高いCNN推論の必要性を動機づける。
• 畳み込みカーネル、プーリング、および非線形性をチップ上で実装できる集積フォトニクスアーキテクチャを紹介する。
• CNNの各層でカーネルドット積計算を実現するための時間多重化光行列乗算アプローチの詳細。
• 光のみの構成と光電子ハイブリッド構成を含む実用的な実装オプションを論じ、設計上の課題を概説する。

提案手法

• SVD decomposition M_i = U Σ V を成分とするユニタリ行列を Reck encoding で表現することで、カーネル行列を実装するために Mach-Zehnder干渉計（MZI）ネットワークを用いる。
• カーネル/ピクセルパッチをコヒーレント光パルスに符号化し、パッチごとにカーネル行列とのドット積を実行して時系列出力を得る。
• 出力に光学的非線形性（例：グラフェン飽和吸収体）を適用し、CNN様の活性化関数を可能にする。
• 光遅延ラインを用いてカーネルドット積を新しい入力パッチへ再配置し、次層の入力パッチを形成してフォトニックプラットフォーム上で多層CNNの動作を可能にする。
• プーリングをストライド付き畳み込みとして扱い、遅延ライン/分配器ネットワークを介して次層のパッチを形成するための再配置を実装する。
• 実装上の課題を緩和し、アナログCMOSの非線形性とメモリ素子を活用するために、光電子ハイブリッド構成について任意に論じる。

実験結果

リサーチクエスチョン

• RQ1 フォトニック集積回路は、CNNの畳み込み、プーリング、および非線形性を電子系と同等の精度で実行できるだろうか？
• RQ2 典型的なCNN（例：AlexNet規模）に対して光学的畳み込みがもたらすエネルギーと速度の利点はどの程度で、制約要因は何か？
• RQ3 MZI位相符号化と非線形性の誤差は、光学的CNNの推論精度にどのように影響するか？
• RQ4 オンチップ上に留まりつつ、スループットを最大化し電力を最小化するための有力なアーキテクチャ（完全光学 vs. ハイブリッド）とは何か？

主な発見

• 光学的畳み込みアーキテクチャは、1秒あたり約100万の推論/秒を、推論あたり約2 mJで達成できる可能性がある。
• 提案されたシステムは、総電力が類似している一方で、GPU対応のAlexNet推論より約30倍高速であると主張されている。
• 完全にはチップ上に集積されたフォトニック実装は、行列乗算のためのMZIネットワーク、光学的非線形性、および遅延線による高精度な時間多重再配置に依存している。
• ハイブリッド光電子構成は、難しい光学部品をCMOSアナログ回路とメモリで実装することにより、チップ面積と複雑さを削減できる可能性がある。
• エネルギーと性能の主張は実用的なデバイス帯域幅と検出器速度に依存し、付録に詳細なエネルギー分析が提供されている。