[논문 리뷰] Image sensing with multilayer, nonlinear optical neural networks

Tianyu Wang, Mandar M. Sohoni외 6명|arXiv (Cornell University)|2022. 07. 27.

Neural Networks and Reservoir Computing인용 수 16

한 줄 요약

이 논문은 상용 이미지 인핸서를 병렬 광전자식 광학-광학 비선형 활성화 함수로 사용하는 다층 비선형 광학 신경망(ONN) 프리프로세서를 제안한다. 이는 물체 식별 및 세포기관 분류와 같은 작업에서 최대 800:1의 압축 비율을 달성하면서도 높은 정확도를 유지하며, 깊이와 비선형성 덕분에 선형 ONN 인코더보다 뛰어난 성능을 발휘한다.

ABSTRACT

Optical imaging is commonly used for both scientific and technological applications across industry and academia. In image sensing, a measurement, such as of an object's position, is performed by computational analysis of a digitized image. An emerging image-sensing paradigm breaks this delineation between data collection and analysis by designing optical components to perform not imaging, but encoding. By optically encoding images into a compressed, low-dimensional latent space suitable for efficient post-analysis, these image sensors can operate with fewer pixels and fewer photons, allowing higher-throughput, lower-latency operation. Optical neural networks (ONNs) offer a platform for processing data in the analog, optical domain. ONN-based sensors have however been limited to linear processing, but nonlinearity is a prerequisite for depth, and multilayer NNs significantly outperform shallow NNs on many tasks. Here, we realize a multilayer ONN pre-processor for image sensing, using a commercial image intensifier as a parallel optoelectronic, optical-to-optical nonlinear activation function. We demonstrate that the nonlinear ONN pre-processor can achieve compression ratios of up to 800:1 while still enabling high accuracy across several representative computer-vision tasks, including machine-vision benchmarks, flow-cytometry image classification, and identification of objects in real scenes. In all cases we find that the ONN's nonlinearity and depth allowed it to outperform a purely linear ONN encoder. Although our experiments are specialized to ONN sensors for incoherent-light images, alternative ONN platforms should facilitate a range of ONN sensors. These ONN sensors may surpass conventional sensors by pre-processing optical information in spatial, temporal, and/or spectral dimensions, potentially with coherent and quantum qualities, all natively in the optical domain.

연구 동기 및 목표

• 디지타이징된 이미지 처리를 아날로그 광학 프리프로세싱으로 대체함으로써 기존 이미지 센서의 성능 저하 문제를 해결하고자 한다.
• 광학 구성 요소를 설계하여 전통적인 영상 촬영이 아닌 계산 인코딩을 수행함으로써 고압축, 저지연 이미지 센싱을 실현하고자 한다.
• 다층 비선형 ONN이 이미지 센싱 작업에서 단층 선형 ONN보다 뚜렷이 뛰어난 성능을 발휘할 수 있음을 입증하고자 한다.
• 실세계 이미지 센싱 응용 분야에서 상용 이미지 인핸서를 비선형 활성화 함수로 사용할 수 있는지의 타당성을 검증하고자 한다.
• 정보를 광학 도메인에서 천연적으로 처리함으로써 ONN 기반 센서가 기존 센서를 능가할 수 있는 잠재력을 탐색하고자 한다: 빠른 속도, 에너지 효율성, 광자 효율성 향상

제안 방법

• 저자들은 다층 ONN 프리프로세서를 실현하기 위해 상용 이미지 인핸서를 사용하여 병렬 광전자식 광학-광학 비선형 활성화를 제공함으로써 진정한 비선형 처리를 가능하게 하였다.
• 시스템은 넓은 100×100 입력 이미지 차원을 사용하며, 2층 완전 연결 ONN에서 200차원의 버팀목 레이어를 적용하고, 더 깊은 아키텍처(예: CNN1 및 CNN3)는 광학 컨볼루션 레이어를 통합하였다.
• 비순환광 조건을 고려해 비음수 가중치를 강제 적용하였으며, 시뮬레이션 중 실제 광학 제약 조건을 반영하기 위해 물리적 노이즈를 모의하였다.
• 광학 인코더는 고차원 이미지를 압축된 잠재 공간으로 매핑하고, 이후 선형 분류기가 이를 디코딩하여 물체 인식 및 세포기관 분류와 같은 작업을 수행한다.
• 학습 가능한 배치 정규화 레이어 다음에 ReLU 유사 활성화를 적용하였으며, 이는 광학 제어 VECSEL 또는 LED 어레이에서 임계선형 행동을 통해 실현 가능하다.
• 풀링 연산은 광학 합산(AvgPool) 또는 임계 제한 활성화(MaxPool) 방식으로 구현되었으며, 후자는 에너지 입력을 제한하여 보조 반응을 억제함으로써 근사화되었다.

Figure 1 : A multilayer optical-neural-network encoder as a frontend for image sensing. a , Image sensing via direct imaging vs optical encoding. In conventional image sensing, an image is collected by a camera, and processed, often using a neural network (NN), to extract a small piece of relevant i

실험 결과

연구 질문

• RQ1 다층 비선형 광학 신경망은 선형 ONN 인코더보다 압축 비율을 크게 향상시키면서도 분류 정확도를 유지할 수 있는가?
• RQ2 광학 프리프로세서에 비선형성과 깊이를 통합함으로써 실세계 이미지 센싱 작업에서 측정 가능한 성능 향상이 발생하는가?
• RQ3 상용 이미지 인핸서가 ONN 아키텍처에서 병렬 광전자식 광학-광학 비선형 활성화 함수로 효과적으로 기능할 수 있는가?
• RQ4 광학 신경망이 공간, 시간 및/또는 스펙트럼 차원에서 이미지를 얼마나 효과적으로 프리프로세싱할 수 있는가? 이는 더 빠른, 더 낮은 전력 소모, 더 높은 광자 효율성의 센싱을 가능하게 하는가?
• RQ5 비순환광 기반 ONN 인코더의 성능은 일관성 있는 광원 기반 인코더와 비교해 어떻게 되는가? 특히 정확도 및 압축 효율성 측면에서 어떤가?

주요 결과

• 비선형 다층 ONN 프리프로세서는 10,000차원 입력 이미지를 두 차원 출력 벡터로 압축하면서도 높은 분류 정확도를 유지하여 최대 800:1의 압축 비율을 달성하였다.
• 더 깊은 ONN 아키텍처(예: 3개의 광학 컨볼루션 레이어를 가진 CNN3)는 얕은 아키텍처 및 선형 ONN 인코더보다 고압축 비율에서 뛰어난 성능을 보였으며, 깊이와 비선형성의 이점이 입증되었다.
• 세포기관 10개 클래스 분류 작업에서 고정밀도를 달성하였으며, 동일한 데이터로 훈련된 ResNet-18 분류기 성능에 근접함을 보여, 강력한 표현 능력을 입증하였다.
• 상용 이미지 인핸서를 비선형 활성화 함수로 사용함으로써 최소한의 전자 피드백으로 효과적인 광학-광학 변환을 실현하였으며, 병렬 실시간 처리를 지원하였다.
• 시뮬레이션 결과 비음수 가중치(비순환광)는 실수 가중치 대비 성능이 제한됨을 보여, 일관성 있는 광원 기반 ONN이 더 나은 성능을 낼 수 있음을 시사하였다.
• 결과는 ONN 기반 센서가 광학 도메인에서 아날로그 방식으로 데이터를 프리프로세싱함으로써 기존 센서를 능가할 수 있으며, 더 빠르고 작고 에너지 효율적인 이미지 센싱을 가능하게 한다는 점을 시사한다.