[논문 리뷰] Response to Comment on "All-optical machine learning using diffractive deep neural networks"

Deniz Mengü, Yi Luo외 4명|arXiv (Cornell University)|2018. 10. 10.

Neural Networks and Reservoir Computing인용 수 6

한 줄 요약

이 논문은 분산형 깊은 신경망(D2NN)의 선형성과 수동성에 대한 비판에 대응하여, 그 깊이와 광학적 비선형성 덕분에 뛰어난 성능을 발휘할 수 있음을 재확인한다. 다수의 분산층을 늘임으로써 분류 정확도, 신호 대비비, 회절 효율성이 향상됨을 보여주며, 이는 모든 광학적 머신러닝에서 D2NN의 깊이적 우수성을 입증한다.

ABSTRACT

In their Comment, Wei et al. (arXiv:1809.08360v1 [cs.LG]) claim that our original interpretation of Diffractive Deep Neural Networks (D2NN) represent a mischaracterization of the system due to linearity and passivity. In this Response, we detail how this mischaracterization claim is unwarranted and oblivious to several sections detailed in our original manuscript (Science, DOI: 10.1126/science.aat8084) that specifically introduced and discussed optical nonlinearities and reconfigurability of D2NNs, as part of our proposed framework to enhance its performance. To further refute the mischaracterization claim of Wei et al., we, once again, demonstrate the depth feature of optical D2NNs by showing that multiple diffractive layers operating collectively within a D2NN present additional degrees-of-freedom compared to a single diffractive layer to achieve better classification accuracy, as well as improved output signal contrast and diffraction efficiency as the number of diffractive layers increase, showing the deepness of a D2NN, and its inherent depth advantage for improved performance. In summary, the Comment by Wei et al. does not provide an amendment to the original teachings of our original manuscript, and all of our results, core conclusions and methodology of research reported in Science (DOI: 10.1126/science.aat8084) remain entirely valid.

연구 동기 및 목표

• 분산형 깊은 신경망(D2NN)이 본질적으로 선형성과 수동성으로 인해 제한된다는 주장에 반박하기 위해.
• 2018년 과학지에 발표된 원래 D2NN 프레임워크의 타당성을 재확인하기 위해, 광학적 비선형성과 재구성 가능성을 포함한다.
• 분산층의 수를 늘일수록 분류 정확도, 출력 신호 대비비, 회절 효율성과 같은 성능 지표가 향상됨을 보여주기 위해.
• D2NN의 깊이가 단일층 시스템보다 본질적인 이점이 있음을 입증하여 원래 연구의 核 心 방법론을 검증하기 위해.

제안 방법

• 원래 D2NN 프레임워크에 광학적 비선형성과 재구성 가능성을 포함시켰음을 재확인하며, 과학지 논문에 명시적으로 기재된 그 내용을 재반복한다.
• 다중 분산층의 집합적 행동을 분석하여 단일층 구조에 비해 더 많은 자유도를 제공함을 보여준다.
• 분류 정확도, 출력 신호 대비비, 회절 효율성 등 성능 지표가 분산층 수가 증가함에 따라 향상됨을 입증한다.
• 이론적 및 실험적 분석을 통해 시스템의 깊이가 머신러닝 작업을 위한 빛의 전파 최적화에 더 유리함을 보여준다.
• 시스템의 성능이 선형성 또는 수동성에 제약을 받지 않음을 강조하며, 비선형 광학 반응과 동적 재구성 기능을 허용하기 때문이다.
• 원래 과학지 논문의 실험적 및 이론적 결과가 비판에 의해 도전받지 않으며 여전히 유효함을 재확인한다.

실험 결과

연구 질문

• RQ1 분산형 신경망의 깊이를 늘림으로써 모든 광학적 머신러닝 시스템의 성능을 향상시킬 수 있는가?
• RQ2 D2NN에 광학적 비선형성과 재구성 가능성을 통합함으로써 선형성과 수동성으로 인한 제약를 극복할 수 있는가?
• RQ3 다중 분산층이 단일층 시스템에 비해 분류 정확도, 신호 대비비, 회절 효율성 향상에 어떻게 기여하는가?
• RQ4 D2NN의 깊이가 광학적 머신러닝에서 본질적인 이점인가, 아니면 단순한 구조적 부산물인가?
• RQ5 위 등이의 비판은 과학지 논문에 제시된 원래 D2NN 프레임워크를 정확히 반영하고 있는가?

주요 결과

• 원래 수기에서 광학적 비선형성과 재구성 가능성을 명시적으로 기재하였으며, 이를 간과했다는 주장에 대비하여 이를 반박한다.
• 분산층의 수를 늘릴수록 분류 정확도, 출력 신호 대비비, 회절 효율성 향상이 명백하게 관측됨을 입증한다.
• 다중 분산층은 추가적인 자유도를 제공하여 머신러닝 작업을 위한 빛의 전파 최적화를 향상시킨다.
• D2NN 아키텍처의 깊이가 얕은 구성보다 본질적인 성능 우수성을 제공한다.
• 위 등이의 비판은 원래 결과를 무효화하지 않으며, 과학지 논문의 모든 핵심 결론은 여전히 유효하다.
• 응답을 통해 D2NN 프레임워크가 선형성 또는 수동성으로 인해 제한되지 않음을 확인하며, 비선형 및 재구성 가능한 광학 반응을 지원함을 입증한다.