[논문 리뷰] Nanophotonic Media for Artificial Neural Inference

Erfan Khoram, Ang Chen외 5명|arXiv (Cornell University)|2018. 10. 17.

Neural Networks and Reservoir Computing참고 문헌 15인용 수 11

한 줄 요약

이 논문은 인공신경망 추론을 하위파장 산란과 비선형 파동 역학을 통해 수행하는 수동적이고 초고밀도 광학 신경망인 나노광학 매질을 제안한다. 입력 이미지를 공간적 빛 세기 분포로 인코딩함으로써, 특정 출력 위치에서 에너지 집중을 통해 이미지 인식을 수행하며, 80λ × 20λ의 소형 구조를 가진 2차원 시뮬레이션에서 79% 이상의 정확도를 달성한다.

ABSTRACT

We show optical waves passing through a nanophotonic medium can perform artificial neural computing. Complex information, is encoded in the wave front of an input light. The medium transforms the wave front to realize sophisticated computing tasks such as image recognition. At the output, the optical energy is concentrated to well-defined locations, which for example can be interpreted as the identity of the object in the image. These computing media can be as small as tens of wavelengths and offer ultra-high computing density. They exploit sub-wavelength scatterers to realize complex input output mapping beyond the capabilities of traditional nanophotonic devices.

연구 동기 및 목표

• 파동 전파를 이용한 나노구조 매질에서 인공신경망 추론을 수행하는 수동적이고 에너지 효율적인 광학 계산 플랫폼을 개발하기 위해.
• 층상의 전방향 광학 신경망의 한계를 극복하기 위해, 간섭과 산란을 통한 연속적이고 층이 없는 계산을 가능하게 하기 위해.
• 복잡한 비선형 입력-출력 맵핑(신경망의 층에 해당)이 단일 매질 내에서 설계된 하위파장 산란체를 통해 실현될 수 있음을 보여주기 위해.
• 나노광학 구조 내 원자 크기의 재료 변동에서 기인하는 무한한 자유도를 활용하여 고밀도 계산을 달성하기 위해.
• 맥스웰 방정식의 파동 물리학과 불규칙성의 잠재력을 바탕으로 강건한 아날로그 신경계산의 기반을 탐색하기 위해.

제안 방법

• 나노광학 신경 매질(NNM)은 SiO₂와 같은 주재질에 공기 구멍과 같은 하위파장 포함체를 삽입하여 강한 전방 및 후방 산란을 유도하며, 이는 인공신경망의 선형 행렬 곱셈을 모방한다.
• 포함체의 공간적 배열과 기하학적 형상이 학습 가능한 가중치 매개변수로 기능하며, 하위파장 크기 덕분에 초고밀도 계산이 가능하다.
• 비선형 활성화는 염료 반도체나 그래핀 포화 흡수체와 같은 재료를 사용하여, 세기 의존적 반응을 통해 ReLU 유사 비선형성을 모방한다.
• 시스템은 수정된 미니배치 확률적 경사하강법(SGD) 알고리즘을 사용하여 학습되며, FDFD 방법을 통해 비선형 파동 방정식을 반복적으로 풀어 최적의 허용도 분포에 수렴한다.
• 입력 이미지는 입사광의 2차원 세기 프로파일로 인코딩되며, 출력은 매질의 출구면에서의 공간적 에너지 분포이며, 분류 결과는 피크 세기 위치에 의해 결정된다.
• 수치적 아티팩트를 최소화하기 위해 PML을 사용하여 경계 조건을 신중히 설정하며, λ = 1μm에서 공간 해상도를 2차원 기준 λ/20, 3차원 기준 λ/5로 설정하여 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 불규칙하고 나노구조화된 매질에서 맥스웰 방정식에 의해 지배되는 파동 역학이 층 구조 없이도 복잡한 인공신경망 추론을 수행할 수 있는가?
• RQ2 단일 매질 내 하위파장 산란체와 비선형 재료가 디지털 신경망의 다수 층의 功能을 어느 정도 모방할 수 있는가?
• RQ3 광학 반사에 의한 피드백 통합이 나노광학 시스템에서 연속적이고 층이 없는 계산 메커니즘을 가능하게 하는가?
• RQ4 제조에 유리한 설계 규칙에 제약을 받는 한계 속에서, 이러한 수동적 아날로그 광학 신경망이 달성할 수 있는 정확도는 어느 정도인가?
• RQ5 불규칙 매질의 내재된 파동 물리학, 예를 들어 간섭과 국소화 현상이 신경계산 성능을 향상시키거나 안정화시키는 데 활용될 수 있는가?

주요 결과

• 80λ × 20λ 크기의 2차원 매질을 사용하여 1,000개의 손글씨 숫자로 구성된 테스트 세트에서 나노광학 신경 매질(NNM)이 79% 이상의 이미지 인식 정확도를 달성한다.
• 제조 제약으로 인해 매질이 조밀하고 희박하지 않은 구성으로 제한되더라도, 최적화된 산란 및 비선형 반응 덕분에 의미 있는 분류 성능을 유지한다.
• 다른 입력 패턴(예: 두 개의 다른 손글씨 '2')은 서로 다른 내부 전장 분포를 생성하지만, 모두 동일한 출력 핫스팟으로 수렴하여 숫자 '2'로 정확히 식별된다.
• 시스템은 입력 변동에 대해 강건함을 보이며, 두 개의 다른 '8' 숫자는 서로 다른 내부 전장을 생성하지만 모두 하나의 정확한 출력 핫스팟을 유도한다.
• 미니배치 SGD를 사용한 학습 과정은 효율적으로 수렴하며, 2차원 기준 배치 크기 100(2 에포크 후 감소), 3차원 기준 50이며, 학습률은 2차원 500(2 에포크 후 감소), 3차원 30이다.
• 2차원 NNM의 혼동 행렬은 대각선 우세성이 높으며, 각 숫자당 10개의 테스트 샘플이 포함되어 있어 정확한 분류와 낮은 오분류 비율을 확인한다.