[논문 리뷰] Pyramid diffractive optical networks for unidirectional image magnification and demagnification

Bijie Bai, Xilin Yang외 5명|arXiv (Cornell University)|2023. 08. 29.

Neural Networks and Reservoir Computing참고 문헌 46인용 수 4

한 줄 요약

이 논문은 확산 계층을 확대 배율에 따라 척도 조정하는 물리학에 영감을 받은 광학 설계인 피라미드 확산 딥 뉴럴 네트워크(P-D2NN)를 제안한다. 이는 단방향 이미지 확대 및 축소를 가능하게 하며, 기존 D2NN보다 더 적은 자유도를 사용하면서도 넓은 파장 대역에서 성능을 유지하고, 실험적으로 테라헤르츠 파장에서 검증되었다.

ABSTRACT

Diffractive deep neural networks (D2NNs) are composed of successive transmissive layers optimized using supervised deep learning to all-optically implement various computational tasks between an input and output field-of-view (FOV). Here, we present a pyramid-structured diffractive optical network design (which we term P-D2NN), optimized specifically for unidirectional image magnification and demagnification. In this design, the diffractive layers are pyramidally scaled in alignment with the direction of the image magnification or demagnification. This P-D2NN design creates high-fidelity magnified or demagnified images in only one direction, while inhibiting the image formation in the opposite direction - achieving the desired unidirectional imaging operation using a much smaller number of diffractive degrees of freedom within the optical processor volume. Furthermore, P-D2NN design maintains its unidirectional image magnification/demagnification functionality across a large band of illumination wavelengths despite being trained with a single wavelength. We also designed a wavelength-multiplexed P-D2NN, where a unidirectional magnifier and a unidirectional demagnifier operate simultaneously in opposite directions, at two distinct illumination wavelengths. Furthermore, we demonstrate that by cascading multiple unidirectional P-D2NN modules, we can achieve higher magnification factors. The efficacy of the P-D2NN architecture was also validated experimentally using terahertz illumination, successfully matching our numerical simulations. P-D2NN offers a physics-inspired strategy for designing task-specific visual processors.

연구 동기 및 목표

• 단방향 이미지 확대 및 축소를 높은 효율성과 낮은 간섭으로 수행할 수 있는 확산 광학 네트워크를 설계하는 것.
• 피라미드 구조의 계층 척도 조정 방식을 활용하여 단방향 영상 처리에 필요한 확산 자유도 수를 줄이는 것.
• 단일 파장으로 훈련된 상태에서도 넓은 파장 대역에서 성능이 안정된다는 것을 확보하는 것.
• 파장 multiplexing를 통해 단일 P-D2NN가 동시에 단방향 확대기 및 축소기로 작동할 수 있도록 하는 것.
• 테라헤르츠 복사와 3D 프린팅된 확산 계층을 사용하여 P-D2NN 설계를 실험적으로 검증하는 것.

제안 방법

• P-D2NN 아키텍처는 이미지 전파 방향에 맞추어 확대 또는 축소 비율에 따라 크기가 기하급수적으로 증가하는 확산 계층을 사용한다.
• 각 확산 계층은 전방 이미지 오차를 최소화하고 후방 이미지 억제를 최대화하는 손실 함수를 사용하여 지도 기반 딥 러닝으로 최적화된다.
• 네트워크는 고성능 GPU 클러스터에서 단일 정밀도 부동소수점 형식으로 30 에포크 동안 훈련되며 배치 크기는 96이다.
• 위상 양자화와 제작 오차는 위상 값들을 제한된 비트 깊이(4, 3, 2)로 반올림하고, 점차 강도가 증가하는 무작위 정규 분포 편향(𝜏𝑓𝑎𝑏 = 0.01에서 0.2로)을 적용하여 모델링된다.
• 파장 멀티플렉싱된 P-D2NN는 한 파장에서는 단방향 확대기로, 다른 파장에서는 단방향 축소기로 작동하도록 설계되어 이중 기능 작동이 가능하다.
• 실험적 검증은 0.4 THz 연속파 소스로 조명된 3D 프린팅된 P-D2NN를 사용하며, 출력 평면에서 2차원 스캐닝과 1 GHz에서의 락인 검출을 수행한다.

실험 결과

연구 질문

• RQ1 기존 D2NN보다 더 적은 자유도를 사용하면서도 고정밀도와 낮은 후방 간섭을 갖는 단방향 이미지 확대 및 축소를 수행할 수 있는 확산 광학 네트워크를 설계할 수 있는가?
• RQ2 확산 계층의 피라미드 구조적 척도 조정이 단방향 영상 작업에서 전방 에너지 효율성 향상과 후방 억제 향상에 기여하는가?
• RQ3 단일 파장으로 훈련된 P-D2NN가 넓은 조명 파장 대역에서도 높은 성능을 유지할 수 있는가?
• RQ4 단일 P-D2NN가 파장 멀티플렉싱을 통해 동시에 단방향 확대 및 축소 기능을 수행할 수 있는가?
• RQ5 실제 구현에서 위상 양자화 및 제작 오차에 대해 P-D2NN 설계는 얼마나 강건한가?

주요 결과

• 기존 균일한 크기의 계층을 사용하는 D2NN에 비해 P-D2NN 설계는 전방 에너지 효율성 향상과 더 강력한 후방 에너지 억제를 달성한다.
• P-D2NN는 단일 파장으로 훈련된 상태에서도 넓은 파장 대역에서 고정밀도 이미지 확대 및 축소 성능을 유지한다.
• 파장 멀티플렉싱된 P-D2NN는 두 개의 서로 다른 파장에서 서로 반대 방향으로 단방향 확대기 및 축소기로 동시에 작동하여 성공적으로 이중 기능을 수행한다.
• 테라헤르츠 조명을 사용한 실험 결과는 수치 시뮬레이션과 밀도 있게 일치하여 P-D2NN 설계가 실제 광학 설정에서 검증됨을 입증한다.
• P-D2NN는 위상 양자화(최소 2비트 해상도까지)와 제작 오차(𝜏𝑓𝑎𝑏 = 0.2까지)에 대해 강건함을 보이며 실용적 구현 가능성을 시사한다.
• 여러 개의 P-D2NN 모듈을 연결함으로써 더 높은 확대 비율을 달성할 수 있으며, 이는 복잡한 영상 작업에 대한 확장 가능성과 함께 입증된다.