[논문 리뷰] On-Chip Optical Convolutional Neural Networks

Hengameh Bagherian, Scott A. Skirlo외 4명|arXiv (Cornell University)|2018. 08. 09.

Neural Networks and Reservoir Computing참고 문헌 1인용 수 57

한 줄 요약

이 논문은 칩 상에서 구현된 광학 기반 합성곱 신경망 아키텍처를 제안하며, MZI 네트워크, 광학 비선형성, 지연선을 사용해 빠르고 저전력 CNN 추론을 시간다중화된 광학 계산으로 수행한다. 또한 하이브리드 광-전자 접근 방식과 실용적 도전 과제에 대해서도 논한다.

ABSTRACT

Convolutional Neural Networks (CNNs) are a class of Artificial Neural Networks(ANNs) that employ the method of convolving input images with filter-kernels for object recognition and classification purposes. In this paper, we propose a photonics circuit architecture which could consume a fraction of energy per inference compared with state of the art electronics.

연구 동기 및 목표

• GPU 및 전통적 전자 회로를 넘어 에너지 효율적이고 고처리량 CNN 추론의 필요성을 제시한다.
• 칩에 구현 가능한 합성곱 커널, 풀링 및 비선형성을 구현할 수 있는 통합 포토닉스 아키텍처를 도입한다.
• CNN 계층 전반의 커널-점곱 연산을 실현하기 위한 시간다중화 광 매트릭스 곱셈 접근법을 상세히 설명한다.
• 실용적 구현 옵션으로 광학 전용 및 광-전자 하이브드 구성을 포함하고, 엔지니어링 도전을 개략한다.

제안 방법

• SVD 분해의 단위 구성 요소의 Reck 인코딩을 이용해 커널 행렬을 MZI 네트워크로 구현 (M_i = U Σ V).
• 커널/픽셀 패치를 코히런트 광 펄스로 인코딩하고 패치별로 커널 행렬과의 점곱을 수행해 시계열 출력을 얻는다.
• 출력에 광 비선형성(예: 그래핀 포화 흡수기)을 적용해 CNN 유사 활성화 함수를 가능하게 한다.
• 다음 층의 입력 패치를 얻기 위해 새 입력 패치를 재게시하기 위해 광 지연선을 사용해 커널 점곱을 재패치한다.
• 풀링은 스트라이드된 합성곱으로 간주하고, 지연선/분배 네트워크를 통해 다음 층 패치를 형성하기 위한 재패치를 구현한다.
• 실시 어려움을 완화하고 아날로그 CMOS 비선형성과 메모리 소자를 활용하기 위해 광-전자 하이브드 구성을 옵션으로 논의한다.

실험 결과

연구 질문

• RQ1 광학적으로 집적 회로가 CNN의 합성곱, 풀링 및 비선형성을 전자 경쟁자와 비슷한 정확도로 수행할 수 있는가?
• RQ2 일반적인 CNN(예: AlexNet 규모)에서 광학 합성곱이 제공할 수 있는 에너지 및 속도 이점은 무엇이며 한계 요인은 무엇인가?
• RQ3 MZI 위상 인코딩 및 비선형성의 오차가 광학 CNN의 추론 정확도에 어떤 영향을 미치는가?
• RQ4 칩 온에 맞춰 최대 처리량과 최소 전력을 달성하기 위해 완전 광학 대 하이브리드 중 어떤 아키텍처가 바람직한가?

주요 결과

• 광학 합성곱 아키텍처는 추론당 약 2 mJ의 에너지로 초당 백만 건 수준의 추론이 가능할 수 있다.
• 제안된 시스템은 GPU 지원 AlexNet 추론보다 약 30배 빠르고 총 전력은 비슷한 수준으로 사용될 수 있다고 주장된다.
• 칩 전체에 구현되는 광학 시스템은 행렬 곱셈을 위한 MZI 네트워크, 광학 비선형성, 지연선을 통한 정밀한 시간다중 재패치를 필요로 한다.
• 광학-전자 하이브드 구성은 CMOS 아날로그 회로 및 메모리로 구현하기 어려운 광학 소자를 대체해 칩 면적과 복잡성을 줄일 수 있다.
• 에너지 및 성능 주장은 실제 소자 대역폭 및 검출기 속도에 좌우되며, 부록에 상세한 에너지 분석이 제공된다.