[論文レビュー] Pyramid diffractive optical networks for unidirectional image magnification and demagnification

Bijie Bai, Xilin Yang+5 more|arXiv (Cornell University)|Aug 29, 2023

Neural Networks and Reservoir Computing参考文献 46被引用数 4

ひとこと要約

本稿では、画像の拡大および縮小を1方向に制限する物理的インスピレーションに基づく光学的設計であるピラミッド効果型回折型ディープニューラルネットワーク（P-D2NN）を提案する。この構造は、拡大率に応じてスケーリングされた回折層を用い、1方向への高精度な画像変換を実現するとともに、逆方向への伝搬を抑制する。従来のD2NNと比較して自由度を削減し、広帯域の波長範囲においても性能を維持する。実験的に太もも波（THz）を用いて検証された。

ABSTRACT

Diffractive deep neural networks (D2NNs) are composed of successive transmissive layers optimized using supervised deep learning to all-optically implement various computational tasks between an input and output field-of-view (FOV). Here, we present a pyramid-structured diffractive optical network design (which we term P-D2NN), optimized specifically for unidirectional image magnification and demagnification. In this design, the diffractive layers are pyramidally scaled in alignment with the direction of the image magnification or demagnification. This P-D2NN design creates high-fidelity magnified or demagnified images in only one direction, while inhibiting the image formation in the opposite direction - achieving the desired unidirectional imaging operation using a much smaller number of diffractive degrees of freedom within the optical processor volume. Furthermore, P-D2NN design maintains its unidirectional image magnification/demagnification functionality across a large band of illumination wavelengths despite being trained with a single wavelength. We also designed a wavelength-multiplexed P-D2NN, where a unidirectional magnifier and a unidirectional demagnifier operate simultaneously in opposite directions, at two distinct illumination wavelengths. Furthermore, we demonstrate that by cascading multiple unidirectional P-D2NN modules, we can achieve higher magnification factors. The efficacy of the P-D2NN architecture was also validated experimentally using terahertz illumination, successfully matching our numerical simulations. P-D2NN offers a physics-inspired strategy for designing task-specific visual processors.

研究の動機と目的

• 1. 高効率かつ低クロストークを実現する一方通行の画像拡大および縮小を可能にする回折型光学ネットワークの設計。
• 2. ピラミッド構造の層スケーリング手法を活用して、一方通行の画像処理に必要な回折自由度を削減すること。
• 3. 単一波長で訓練されたにもかかわらず、広帯域にわたる波長耐性を達成すること。
• 4. 波長 multiplexing を用いて、一方通行の拡大器と縮小器を同時に動作可能とする。
• 5. 太もも波を用いた3Dプリントされた回折層を用いて、P-D2NN設計の実験的検証を行う。

提案手法

• 1. P-D2NNアーキテクチャは、画像伝搬方向に一致するように、拡大または縮小係数に応じて幾何的にスケーリングされる回折層を用いる。
• 2. 各回折層は、前方画像誤差を最小化し、後方画像抑制を最大化する損失関数を用いて教師あり深層学習により最適化される。
• 3. ネットワークは、30エポック、バッチサイズ96で、高精度浮動小数点形式を用いて高性能GPUクラスタ上で訓練される。
• 4. 位相量子化と製造誤差は、位相値を限られたビット深度（4, 3, 2）に丸め、強度が増加する（𝜏𝑓𝑎𝑏 = 0.01 から 0.2）ランダムなガウスノイズを適用することでモデル化される。
• 5. 波長多重化されたP-D2NNは、1つの波長では一方通行の拡大器として、別の波長では一方通行の縮小器として動作するように設計され、二重機能動作が可能となる。
• 6. 実験的検証では、0.4 THzの連続波光源で照射された3DプリントされたP-D2NNを用い、出力面での2次元走査と1 GHzのロックイン検出が実施された。

実験結果

リサーチクエスチョン

• RQ1 1. 通常のD2NNと比較して自由度を削減しつつ、高精度かつ低バックグラウンドクロストークを実現する回折型光学ネットワークを設計可能か？
• RQ2 2. 回折層のピラミッド構造によるスケーリングは、一方通行画像処理タスクにおける前方エネルギー効率と後方抑制を向上させるか？
• RQ3 3. 単一波長で訓練されたP-D2NNでも、広帯域の照明波長範囲において高い性能を維持できるか？
• RQ4 4. 1つのP-D2NNが波長多重化を用いて、同時に一方通行の拡大と縮小を実行可能か？
• RQ5 5. 実装上における位相量子化および製造誤差に対して、P-D2NN設計はどれほどロバストか？

主な発見

• 1. 一様なサイズの層を用いる従来のD2NNと比較して、P-D2NNは顕著に向上した前方エネルギー効率と強力な後方エネルギー抑制を達成した。
• 2. P-D2NNは、単一波長で訓練されたにもかかわらず、広帯域の波長範囲にわたって高精度な画像拡大および縮小を維持した。
• 3. 波長多重化されたP-D2NNは、2つの異なる波長で、それぞれ逆方向に一方通行の拡大器および縮小器として正常に動作し、二重機能動作を実現した。
• 4. 太もも波照射による実験結果は、数値シミュレーションとよく一致し、P-D2NN設計の実世界光学系における有効性が検証された。
• 5. P-D2NNは、位相量子化（2ビット解像度まで）および製造誤差（𝜏𝑓𝑎𝑏 = 0.2まで）に対してロバストであることが示され、実用的実装可能性が裏付けられた。
• 6. 複数のP-D2NNモジュールを段階的に接続することで、より高い拡大率が達成可能であり、複雑な画像処理タスクにおけるスケーラビリティが示された。