[論文レビュー] Response to Comment on "All-optical machine learning using diffractive deep neural networks"

Deniz Mengü, Yi Luo+4 more|arXiv (Cornell University)|Oct 10, 2018

Neural Networks and Reservoir Computing被引用数 6

ひとこと要約

本論文は、diffractive deep neural networks (D2NNs) の線形性と受動性に関する批判に応え、D2NNs の深さと光学的非線形性が優れた性能を実現できることを再確認する。D2NNs の分光層の数を増やすことで分類精度、信号コントラスト、効率的な回折が向上することを示し、すべての光学的機械学習においてD2NNsの深さの利点を裏付けた。

ABSTRACT

In their Comment, Wei et al. (arXiv:1809.08360v1 [cs.LG]) claim that our original interpretation of Diffractive Deep Neural Networks (D2NN) represent a mischaracterization of the system due to linearity and passivity. In this Response, we detail how this mischaracterization claim is unwarranted and oblivious to several sections detailed in our original manuscript (Science, DOI: 10.1126/science.aat8084) that specifically introduced and discussed optical nonlinearities and reconfigurability of D2NNs, as part of our proposed framework to enhance its performance. To further refute the mischaracterization claim of Wei et al., we, once again, demonstrate the depth feature of optical D2NNs by showing that multiple diffractive layers operating collectively within a D2NN present additional degrees-of-freedom compared to a single diffractive layer to achieve better classification accuracy, as well as improved output signal contrast and diffraction efficiency as the number of diffractive layers increase, showing the deepness of a D2NN, and its inherent depth advantage for improved performance. In summary, the Comment by Wei et al. does not provide an amendment to the original teachings of our original manuscript, and all of our results, core conclusions and methodology of research reported in Science (DOI: 10.1126/science.aat8084) remain entirely valid.

研究の動機と目的

• diffractive deep neural networks (D2NNs) が線形性と受動性によって根本的に制限されているという主張を反証すること。
• 2018年のScience誌に発表された元のD2NNフレームワーク（光学的非線形性と再設定可能性の使用を含む）の妥当性を再確認すること。
• 分光層の数を増やすことで分類精度、出力信号コントラスト、回折効率といった性能指標が向上することを実証すること。
• D2NNsの深さが単層系よりも本質的な利点を提供することを確立し、元の研究のコアな手法論を裏付けること。

提案手法

• Science誌論文に明記されたように、元のD2NNフレームワークに光学的非線形性と再設定可能性を組み込むことの重要性を再確認する。
• 複数の分光層の集団的挙動を分析し、単層構成と比較してより多くの自由度が得られることを示す。
• 分類精度、出力信号コントラスト、回折効率といった性能指標が、分光層の数が増えるにつれて向上することを実証する。
• 理論的および実験的分析を用いて、システムの深さが機械学習タスクのための光の伝搬最適化を可能にすることを示す。
• システムの性能が線形性や受動性によって制限されていないことを強調する。これは、フレームワークが非線形光学的応答と動的再設定を可能としているからである。
• 元のScience誌論文における実験的および理論的結果が、批判によって損なわれていないことを再確認する。

実験結果

リサーチクエスチョン

• RQ1 分光ニューラルネットワークの深さを増すことで、すべての光学的機械学習システムの性能を向上させられるか？
• RQ2 D2NNsに光学的非線形性と再設定可能性を組み込むことで、線形性と受動性がもたらす制限を克服できるか？
• RQ3 複数の分光層が単層系と比較して、分類精度、信号コントラスト、回折効率をどのように向上させるか？
• RQ4 D2NNsの深さは光学的機械学習において本質的な利点を提供するのか、それとも単なる構造的副産物に過ぎないのか？
• RQ5 Weiらによる批判は、Science誌論文に提示された元のD2NNフレームワークを正確に反映しているのか？

主な発見

• 光学的非線形性と再設定可能性のD2NNフレームワークへの組み込みは、元の原稿で明確に記載されており、見過ごされたという主張を反証する。
• 分光層の数を増やすことで、分類精度、出力信号コントラスト、回折効率に顕著な向上が見られる。
• 複数の分光層は追加の自由度を提供し、機械学習タスクのための光の伝搬最適化をより良く可能にする。
• D2NNアーキテクチャの深さが、浅い構成よりも本質的な性能優位性を提供する。
• Wei らによる批判は、元の発見を無効にせず、Science誌論文のすべての核心的結論が依然として有効である。
• 本応答は、D2NNフレームワークが線形性や受動性によって制限されていないことを確認しており、非線形的かつ再設定可能な光学的応答をサポートしている。