[논문 리뷰] All-optical neuromorphic binary convolution with a spiking VCSEL neuron for image gradient magnitudes

Yahui Zhang, Joshua Robertson외 4명|arXiv (Cornell University)|2020. 11. 09.

Neural Networks and Reservoir Computing참고 문헌 35인용 수 5

한 줄 요약

이 논문은 스파iking 수직공진면발진레이저(VCSEL) 뉴런을 사용한 첫 번째 전체 광학적 뉴로모픽 이진 컨볼루션을 제안하고 실험적으로 입증한다. 디지털 이미지에서 온도적으로 인코딩된 광학 입력 신호가 단일 VCSEL 뉴런에서 처리되며, 이는 100 ps 이내의 지속시간을 가진 스파이크 트레인을 출력함으로써 실시간으로 이미지 기울기 크기를 계산할 수 있게 하여 고속, 저에너지 소비, 노이즈에 강건한 엣지 검출 및 구성요소 분리 기능을 제공한다.

ABSTRACT

All-optical binary convolution with a photonic spiking vertical-cavity surface-emitting laser (VCSEL) neuron is proposed and demonstrated experimentally for the first time. Optical inputs, extracted from digital images and temporally encoded using rectangular pulses, are injected in the VCSEL neuron which delivers the convolution result in the number of fast (<100 ps long) spikes fired. Experimental and numerical results show that binary convolution is achieved successfully with a single spiking VCSEL neuron and that all-optical binary convolution can be used to calculate image gradient magnitudes to detect edge features and separate vertical and horizontal components in source images. We also show that this all-optical spiking binary convolution system is robust to noise and can operate with high-resolution images. Additionally, the proposed system offers important advantages such as ultrafast speed, high energy efficiency and simple hardware implementation, highlighting the potentials of spiking photonic VCSEL neurons for high-speed neuromorphic image processing systems and future photonic spiking convolutional neural networks.

연구 동기 및 목표

• 광학적 스파이킹 뉴런을 사용하여 이미지 처리를 위한 완전히 전체 광학적 고속 뉴로모픽 시스템을 개발하기 위해.
• 전자 변환 없이 실시간으로 이미지 기울기 크기를 계산하기 위해.
• 전체 광학 프레임워크 내에서 고해상도 이미지와 노이즈에 대한 강건성과 호환성을 입증하기 위해.
• VCSEL의 초고속 반응성과 저에너지 소비 특성을 활용하여 차세대 광학 신경망을 위한 기반을 마련하기 위해.

제안 방법

• 디지털 이미지에서 온도적으로 인코딩된 광학 입력 신호는 이진 데이터를 나타내기 위해 직사각형 광 펄스를 사용하여 처리된다.
• 단일 스파이킹 VCSEL 뉴런은 인코딩된 광신호를 수신하고 입력 강도와 타이밍에 반응하여 초고속 스파이크 출력(<100 ps)을 생성한다.
• 방출된 스파이크의 수는 이미지 특징과 컨볼루션 커널 간의 이진 컨볼루션 연산 결과를 인코딩한다.
• 수평 및 수직 엣지 성분에 해당하는 스파이크 수를 분석하여 이미지 기울기 크기를 계산한다.
• 실험적 및 수치적 검증을 통해 단일 VCSEL 뉴런을 사용하여 성공적인 이진 컨볼루션과 기울기 크기 추출이 이루어졌음을 확인하였다.
• 향후 광학 스파이킹 컨volution 신경망에의 통합 및 확장 가능성을 고려한 아키텍처 설계가 이루어졌다.

실험 결과

연구 질문

• RQ1 전자 중계 장치 없이 단일 전체 광학적 스파이킹 VCSEL 뉴런이 광학 이미지 데이터에서 이진 컨볼루션을 수행할 수 있는가?
• RQ2 이 시스템은 오직 광학적 스파이크 출력을 사용하여 이미지 기울기 크기를 정확하게 계산할 수 있는가?
• RQ3 노이즈 상황과 고해상도 이미지 입력 상황에서 이 시스템은 어떻게 성능을 발휘하는가?
• RQ4 이 전체 광학적 접근 방식은 속도, 에너지 효율성, 하드웨어 단순성 측면에서 어떤 이점이 있는가?
• RQ5 스파이크 수 분석을 통해 시스템은 수평 및 수직 엣지 성분을 구분할 수 있는가?

주요 결과

• 단일 스파이킹 VCSEL 뉴런을 사용하여 100 ps 이내의 스파이크 반응을 보이며 전체 광학적 이진 컨볼루션을 성공적으로 수행하였다.
• 스파이크 수 출력에서 기반한 정확한 이미지 기울기 크기 계산이 이루어져 효과적인 엣지 검출이 가능하였다.
• 노이즈에 강건하며 고해상도 이미지에서도 안정적으로 작동하는 것으로 확인되었다.
• VCSEL 뉴런의 광학적 특성 덕분에 초고속 처리 속도와 높은 에너지 효율성이 달성되었다.
• 다른 컨볼루션 커널에서 유도된 별개의 스파이크 패턴을 분석함으로써 수직 및 수평 엣지 성분을 분리할 수 있었다.
• 실험 결과는 스파이킹 VCSEL을 고속 전체 광학 뉴로모픽 이미지 처리에 활용할 수 있음을 확인하였다.