[논문 리뷰] Metasurface-Enabled On-Chip Multiplexed Diffractive Neural Networks in the Visible

Xuhao Luo, Hu Yueqiang외 5명|arXiv (Cornell University)|2021. 07. 13.

Neural Networks and Reservoir Computing인용 수 8

한 줄 요약

이 논문은 편광 다중화를 이용하여 가시광선 영역에서 다중 채널, 다중 기능 광학 분류를 구현하는 메타표면 통합형 칩 내 회절 신경망을 제시한다. 마이크로미터 크기의 나노구조와 CMOS 이미지 센서를 조합함으로써, 채널당 최대 6.25×10⁶개의 인공 뉴런/mm²를 달성하며, 빛의 속도로 디지털 및 패션 아이템을 전적으로 광학적으로 실시간으로 식별함을 입증한다.

ABSTRACT

Replacing electrons with photons is a compelling route towards light-speed, highly parallel, and low-power artificial intelligence computing. Recently, all-optical diffractive neural deep neural networks have been demonstrated. However, the existing architectures often comprise bulky components and, most critically, they cannot mimic the human brain for multitasking. Here, we demonstrate a multi-skilled diffractive neural network based on a metasurface device, which can perform on-chip multi-channel sensing and multitasking at the speed of light in the visible. The metasurface is integrated with a complementary metal oxide semiconductor imaging sensor. Polarization multiplexing scheme of the subwavelength nanostructures are applied to construct a multi-channel classifier framework for simultaneous recognition of digital and fashionable items. The areal density of the artificial neurons can reach up to 6.25x106/mm2 multiplied by the number of channels. Our platform provides an integrated solution with all-optical on-chip sensing and computing for applications in machine vision, autonomous driving, and precision medicine.

연구 동기 및 목표

• 크기 부피가 크고 기능이 단일인 기존 광학 신경망의 한계를 극복하기 위해, 가시광선 영역에서 칩 내 다기능 컴퓨팅을 가능하게 하기 위해.
• 기존 전면 광학 신경망에서 다중 기능 처리 능력의 부족을 해결하기 위해, 병렬 분류를 가능하게 하는 편광 다중화를 통합하기 위해.
• 작고 확장 가능한 칩 내 광학 AI 시스템을 위해 고밀도 인공 뉴런을 달성하기 위해.
• 메타표면과 CMOS 이미지 센서를 통합하여 칩 내 광학 감지 및 계산을 완전히 실현하기 위해.
• 가시광선 광학 추론을 활용한 실용적 응용 분야로 기계시각, 자율주행, 정밀의료를 구현하기 위해.

제안 방법

• 입사광의 진폭과 위상을 동시에 조절할 수 있도록 설계된 마이크로미터 크기의 나노구조를 가진 메타표면을 설계하여 편광 다중화를 구현하기 위해.
• 두 개의 수직된 편광 상태를 지원하도록 메타표면을 설계하여, 동시에 작동하는 두 개의 독립된 광학 경로를 제공하기 위해.
• 칩 내 광신호 검출을 위해 메타표면을 보완금속산화물반도체(CMOS) 영상 센서와 직접 통합하기 위해.
• 입력 이미지를 편광 상태에 따라 특정 출력 채널에 매핑하기 위해 회절 깊은 신경망을 훈련시키기 위해.
• 메타표면의 기하학적 파rameter를 최적화하여 원하는 회절 패턴을 달성하기 위해 백프로파게이션 기반 최적화 프레임워크를 사용하기 위해.
• 메타표면의 마이크로미터 주기성과 공간 다중화를 활용하여 고밀도 뉴런 밀도를 달성하기 위해.

실험 결과

연구 질문

• RQ1 메타표면 기반 칩 내 시스템은 가시광선 영역에서 다중 분류 작업을 동시에 수행할 수 있는가?
• RQ2 편광 다중화는 회절 신경망의 정보 수용 능력을 어떻게 향상시킬 수 있는가?
• RQ3 가시광선 기반 칩 내 회절 신경망에서 달성 가능한 최대 인공 뉴런의 면적 밀도는 얼마인가?
• RQ4 메타표면과 CMOS 센서의 통합은 실시간 AI 추론을 위한 완전한 칩 내 광학 감지 및 계산을 가능하게 하는가?
• RQ5 이러한 시스템은 인간의 뇌가 가지는 다중 기능 처리 능력을 광학 신경망 처리에서 어느 정도 재현할 수 있는가?

주요 결과

• 메타표면 기반 시스템은 채널당 최대 6.25×10⁶개의 뉴런/mm²의 뉴런 면적 밀도를 달성하여 기존 광학 신경망을 크게 초월한다.
• 플랫폼은 수직된 편광 상태를 이용하여 디지털 및 패션 아이템의 다중 채널 분류를 동시에 성공적으로 수행한다.
• 전자 신호 변환 없이 빛의 속도로 작동하여 초저지연 광학 추론이 가능하다.
• 메타표면과 CMOS 이미지 센서의 통합은 시스템의 크기와 전력 소모를 줄이며 칩 내 광학 감지 및 계산을 완전히 실현한다.
• 편광 다중화 방식은 교란 없이 두 개의 독립된 분류 작업을 병렬 처리할 수 있도록 한다.
• 회절 신경망은 가시광선 영역에서 복잡한 시각 패턴을 안정적으로 분류하는 데 성공하여 실생활 AI 응용 분야 잠재력을 입증한다.