[논문 리뷰] Silicon photonic subspace neural chip for hardware-efficient deep learning.

Chenghao Feng, Jiaqi Gu외 5명|arXiv (Cornell University)|2021. 11. 11.

Neural Networks and Reservoir Computing참고 문헌 48인용 수 7

한 줄 요약

이 논문은 이미지 인식 작업에서 경쟁적인 성능을 유지하면서 광학 구성 요소 사용, 칩 면적, 에너지 소비를 줄이기 위해 벌레모양의 실리콘 광집적 회로를 사용하는 하드웨어 효율적인 광학 하위공간 신경망(PSNN)을 제안한다. 하드웨어 인지 훈련 프레임워크는 장치 정밀도 요구 사항을 최소화하고 노이즈에 대한 내성을 향상시킨다.

ABSTRACT

As deep learning has shown revolutionary performance in many artificial intelligence applications, its escalating computation demand requires hardware accelerators for massive parallelism and improved throughput. The optical neural network (ONN) is a promising candidate for next-generation neurocomputing due to its high parallelism, low latency, and low energy consumption. Here, we devise a hardware-efficient photonic subspace neural network (PSNN) architecture, which targets lower optical component usage, area cost, and energy consumption than previous ONN architectures with comparable task performance. Additionally, a hardware-aware training framework is provided to minimize the required device programming precision, lessen the chip area, and boost the noise robustness. We experimentally demonstrate our PSNN on a butterfly-style programmable silicon photonic integrated circuit and show its utility in practical image recognition tasks.

연구 동기 및 목표

• 기존 광학 신경망(ONN)이 딥러닝 가속기에서 높은 하드웨어 비용과 에너지 소비를 유발하는 문제를 해결하기 위해.
• 작업 성능을 희생시키지 않고도 광학 신경망에 필요한 광학 구성 요소 수와 칩 면적을 줄이기 위해.
• 장치 프로그래밍 정밀도 요구 사항을 최소화하고 하드웨어 노이즈에 대한 내성을 향상시키는 훈련 프레임워크를 개발하기 위해.
• 프로그래밍 가능한 실리콘 광학 집적 칩을 사용하여 실세계 이미지 인식 작업에서 PSNN 아키텍처의 실용 가능성을 입증하기 위해.

제안 방법

• 하위공간 투영을 활용하여 필요한 광학 구성 요소 수를 줄이는 광학 하위공간 신경망(PSNN) 아키텍처를 설계하기 위해.
• 프로그래머블 광학 행렬 연산을 가능하게 하기 위해 벌레모양의 재구성 가능한 실리콘 광집적 회로를 구현하기 위해.
• 저정밀도 장치 프로그래밍을 최적화하고 노이즈 내성을 향상시키는 하드웨어 인지 훈련 프레임워크를 도입하기 위해.
• 단계 이동기 해상도 및 진폭 응답 비이상성과 같은 하드웨어 제약 조건을 고려하는 미분 가능한 훈련 프로세스를 사용하기 위해.
• 신경망 레이어를 광학 하위공간에 매핑하여 각 레이어당 활성화되는 광학 구성 요소 수를 최소화하기 위해.
• 실세계 이미지 분류 작업을 위한 실제 실리콘 광학 칩에서의 실험적 증명을 통해 아키텍처를 검증하기 위해.

실험 결과

연구 질문

• RQ1 광학 구성 요소 수와 칩 면적을 크게 줄이면서도 경쟁적인 성능을 유지할 수 있는 광학 신경망 아키텍처를 설계할 수 있는가?
• RQ2 장치 정밀도 및 노이즈와 같은 하드웨어 제약 조건을 광학 신경망 훈련 중에 효과적으로 다룰 수 있는가?
• RQ3 하위공간 투영을 통해 광학 신경망에서 필요한 광학 구성 요소 수를 얼마나 줄일 수 있는가?
• RQ4 하드웨어 인지 훈련 프레임워크는 실리콘 광학 회로의 위상 및 진폭 오류에 대해 내성을 향상시킬 수 있는가?
• RQ5 제안된 PSNN 아키텍처는 실제 프로그래밍 가능한 광학 칩에서 실용적인 이미지 인식 작업에 적용 가능한가?

주요 결과

• PSNN 아키텍처는 이전 ONN 아키텍처와 유사한 이미지 인식 성능을 달성하면서도 더 적은 광학 구성 요소와 더 작은 칩 면적을 사용한다.
• 하드웨어 인지 훈련 프레임워크는 장치 프로그래밍 정밀도 요구 사항을 성공적으로 낮춰 하드웨어 복잡성을 감소시켰다.
• 벌레모양의 실리콘 광학 칩에서의 실험적 증명은 PSNN이 실세계 딥러닝 추론에 실용 가능하다는 것을 확인했다.
• 훈련 프레임워크가 비이상적인 장치 응답을 고려해 최적화함으로써 아키텍처는 하드웨어 노이즈에 대해 향상된 내성을 보였다.
• 기존 광학 신경망 설계 대비 PSNN은 에너지 소비와 면적 비용을 크게 절감할 수 있었다.