[논문 리뷰] An optical diffractive deep neural network with multiple frequency-channels

Yingshi Chen, Jinfeng Zhu|arXiv (Cornell University)|2019. 12. 23.

Neural Networks and Reservoir Computing참고 문헌 17인용 수 7

한 줄 요약

이 논문은 분류 정확도를 향상시키기 위해 다중 주파수 채널을 활용하는 광학 회절 심층 신경망(DNNet)을 제안한다. 서로 다른 주파수에서 광파를 조절하고 출력 평면에서 간섭을 통해 일관되게 병합함으로써, 이 네트워크는 고속이며 피동적인 추론을 구현하며 Fashion-MNIST 및 EMNIST 데이터셋에서 향상된 성능을 보이며, 회절을 통한 새로운 광학 활성화 메커니즘을 입증한다.

ABSTRACT

Diffractive deep neural network (DNNet) is a novel machine learning framework on the modulation of optical transmission. Diffractive network would get predictions at the speed of light. It's pure passive architecture, no additional power consumption. We improved the accuracy of diffractive network with optical waves at different frequency. Each layers have multiple frequency-channels (optical distributions at different frequency). These channels are merged at the output plane to get final output. The experiment in the fasion-MNIST and EMNIST datasets showed multiple frequency-channels would increase the accuracy a lot. We also give detailed analysis to show the difference between DNNet and MLP. The modulation process in DNNet is actually optical activation function. We develop an open source package ONNet. The source codes are available at https://github.com/closest-git/ONNet.

연구 동기 및 목표

• 다중 광학 주파수 채널의 통합을 통해 회절 심층 신경망의 정확도를 향상시키기.
• 광학 회절과 조절의 물리적 원리만을 이용해 전력 소모가 없는 피동적 추론을 가능하게 하기.
• 다양한 주파수에서의 광파면이 간섭을 통해 통합된 출력을 생성하는 프레임워크 개발하기.
• 기준 데이터셋에서 다중 주파수 DNN이 단일 주파수 대비 우월한 성능을 보임을 입증하기.
• 재현 가능성 및 광학 기계 학습 분야의 향후 연구를 위해 오픈소스 코드(ONNet) 제공하기.

제안 방법

• 입사 광파를 다중 주파수 성분에 걸쳐 형상화하는 단계별 단순 위상 조절 층을 사용한다.
• 각 층은 다중 주파수 채널을 지원하도록 설계되어 있어 각 주파수 대역에 대해 독립적으로 조절이 가능하다.
• 다른 주파수 채널에서 온 광 에너지가 출력 평면에서 간섭을 통해 일관되게 병합되어 최종 예측을 형성한다.
• 역전파를 통해 회절 과정을 거쳐 조절을 광학 활성화 함수로 간주하여 네트워크를 훈련시킨다.
• 모든 주파수 채널에서 분류 손실을 최소화하도록 층 간 위상 프로파일을 최적화하는 훈련 과정을 수행한다.
• 제안된 다중 주파수 회절 신경망을 시뮬레이션하고 구현하기 위한 오픈소스 패키지 ONNet을 개발하였다.

실험 결과

연구 질문

• RQ1 다중 광학 주파수 채널의 통합이 회절 심층 신경망의 정확도를 크게 향상시킬 수 있는가?
• RQ2 분류 성능 측면에서 다중 주파수 아키텍처는 단일 주파수 DNN과 어떻게 비교되는가?
• RQ3 주파수 채널의 간섭 병합이 네트워크 출력 해상도와 내성에 어떤 역할을 하는가?
• RQ4 DNN에서의 광학 조절 과정은 전자 신경망과 어떻게 다른 활성화 메커니즘으로 작용하는가?
• RQ5 피동적이고 전면 광학적 추론은 기존의 심층 학습 모델과 비교해 어느 정도의 성능을 달성할 수 있는가?

주요 결과

• 다중 주파수 회절 신경망은 Fashion-MNIST 및 EMNIST 데이터셋에서 단일 주파수 대비 유의미하게 높은 정확도를 달성하였다.
• 다중 주파수 채널의 사용은 광학 추론에서 더 나은 특징 표현과 일반화 능력을 향상시켰다.
• 네트워크는 전력 소모 없이 피동적으로 작동하였으며, 광선의 회절과 위상 조절의 물리적 원리에만 의존하였다.
• 회절을 통해 실현된 광학 활성화 함수는 네트워크의 성능과 속도 향상에 핵심적인 역할을 했다.
• 오픈소스 ONNet 패키지는 성공적으로 배포되어 커뮤니티의 접근과 프레임워크 확장이 가능해졌다.
• 이론적 및 실험적 분석을 통해 다중 주파수 접근이 정확도와 광학 효율성 측면에서 전통적인 DNN 및 MLP보다 뛰어남을 확인하였다.