[論文レビュー] An optical diffractive deep neural network with multiple frequency-channels

Yingshi Chen, Jinfeng Zhu|arXiv (Cornell University)|Dec 23, 2019

Neural Networks and Reservoir Computing参考文献 17被引用数 7

ひとこと要約

本稿では、分類精度を向上させるために複数の周波数チャネルを活用する光デュアラクトイブ深層ニューラルネットワーク（DNNet）を提案する。異なる周波数で光波を変調し、出力面上でコherentに合成することで、高速でパassiveな推論を実現し、Fashion-MNISTおよびEMNISTデータセットにおいて性能が向上した。この手法は、回折を用いた新しい光アクティベーションメカニズムを示している。

ABSTRACT

Diffractive deep neural network (DNNet) is a novel machine learning framework on the modulation of optical transmission. Diffractive network would get predictions at the speed of light. It's pure passive architecture, no additional power consumption. We improved the accuracy of diffractive network with optical waves at different frequency. Each layers have multiple frequency-channels (optical distributions at different frequency). These channels are merged at the output plane to get final output. The experiment in the fasion-MNIST and EMNIST datasets showed multiple frequency-channels would increase the accuracy a lot. We also give detailed analysis to show the difference between DNNet and MLP. The modulation process in DNNet is actually optical activation function. We develop an open source package ONNet. The source codes are available at https://github.com/closest-git/ONNet.

研究の動機と目的

• 複数の光学的周波数チャネルの統合を通じて、光デュアラクトイブニューラルネットワークの精度を向上させること。
• 光の回折と変調の物理的性質のみに依存し、電力を消費しないパassiveな推論を実現すること。
• 異なる周波数の光波frontが、コherentに統合されることで統一された出力を得るフレームワークを構築すること。
• ベンチマークデータセット上で、単一周波数対比の多周波数DNNの優位性を実証すること。
• 再現可能性および光機械学習分野におけるさらなる研究を促進するため、オープンソースコード（ONNet）を提供すること。

提案手法

• 入射光波を複数の周波数成分ごとに形状づけるために、位相のみを変調する層の系列を用いる。
• 各層は複数の周波数チャネルをサポートするように設計されており、周波数帯域ごとに独立して変調可能である。
• 異なる周波数チャネルからの光エネルギーが、出力面上でコherentに統合され、最終的な予測が形成される。
• バックプロパゲーションを回折プロセス全体に適用し、変調を光アクティベーション関数として扱うことでネットワークを訓練する。
• すべての周波数チャネルにおいて分類損失を最小化するように、層ごとの位相プロファイルを最適化する。
• 提案された多周波数デュアラクトイブニューラルネットワークをシミュレートおよびデプロイするためのオープンソースパッケージ、ONNetを開発した。

実験結果

リサーチクエスチョン

• RQ1 複数の光学的周波数チャネルの統合は、デュアラクトイブ深層ニューラルネットワークの精度を顕著に向上させることができるか？
• RQ2 分類性能の観点から、多周波数アーキテクチャは単一周波数DNNと比べてどのように差がつくか？
• RQ3 周波数チャネルのコherentな統合が、ネットワーク出力の解像度とロバスト性を向上させる役割を果たすか？
• RQ4 DNNにおける光変調プロセスは、電子ニューラルネットワークとはどのように異なったアクティベーションメカニズムを実現するか？
• RQ5 パassiveで完全に光学的な推論は、従来のディープラーニングモデルと同等の性能を達成できるか、その程度はいかほどか？

主な発見

• 多周波数デュアラクトイブニューラルネットワークは、Fashion-MNISTおよびEMNISTデータセットにおいて、単一周波数対比で顕著に高い精度を達成した。
• 複数の周波数チャネルの使用により、光推論におけるより優れた特徴表現と一般化性能が実現された。
• ネットワークは電力消費なしにパassiveに動作し、光の回折と位相変調の物理的性質に完全に依存していた。
• 回折によって実現される光アクティベーション関数が、ネットワークの性能と速度の主要因であることが示された。
• オープンソースのONNetパッケージが正常にリリースされ、コミュニティによるフレームワークのアクセスと拡張が可能になった。
• 理論的および実験的分析により、多周波数アプローチが従来のDNNおよびMLPよりも精度および光効率の点で優れていることが確認された。