[논문 리뷰] Intelligent Multi-channel Meta-imagers for Accelerating Machine Vision

Hanyu Zheng, Quan Liu외 4명|arXiv (Cornell University)|2023. 06. 12.

Metamaterials and Metasurfaces Applications인용 수 5

한 줄 요약

이 논문은 메타표면을 사용하여 계산 비용이 높은 컨볼루션 연산을 수동적이고 저전력적인 광학 시스템으로 이관함으로써 기계 시각의 속도를 높이는 지능형 다중채널 메타이미저를 제안한다. 각도 및 편광 분할 multiplexing을 동시에 가능하게 함으로써 장치는 단일 광학 촬영에서 양의 및 음의 컨볼루션 연산을 모두 수행하며, MNIST에서 98.6%의 정확도와 Fashion-MNIST에서 88.8%의 정확도를 달성하여 소형, 고속, 에너지 효율적인 성능을 구현한다.

ABSTRACT

Rapid developments in machine vision have led to advances in a variety of industries, from medical image analysis to autonomous systems. These achievements, however, typically necessitate digital neural networks with heavy computational requirements, which are limited by high energy consumption and further hinder real-time decision-making when computation resources are not accessible. Here, we demonstrate an intelligent meta-imager that is designed to work in concert with a digital back-end to off-load computationally expensive convolution operations into high-speed and low-power optics. In this architecture, metasurfaces enable both angle and polarization multiplexing to create multiple information channels that perform positive and negatively valued convolution operations in a single shot. The meta-imager is employed for object classification, experimentally achieving 98.6% accurate classification of handwritten digits and 88.8% accuracy in classifying fashion images. With compactness, high speed, and low power consumption, this approach could find a wide range of applications in artificial intelligence and machine vision applications.

연구 동기 및 목표

• 기계 시각 응용 분야에서 디지털 신경망의 높은 계산 및 에너지 비용을 해결하기 위해.
• 자원이 제한된 환경에서 실시간 추론을 가능하게 하기 위해 컨볼루션 연산을 디지털 프로세서에서 광학 영역으로 이동시키기 위해.
• 단일 촬영에서 복잡한 컨볼루션 연산을 수행할 수 있는 소형, 저전력 광학 시스템을 설계하기 위해.
• 메타표면을 사용하여 AI 가속을 위한 다중채널, 다중편광, 다중각도 광학 컨볼루션의 실현 가능성을 입증하기 위해.
• 실험적 광학 하드웨어를 사용하여 표준 이미지 분류 벤치마크에서 시스템 성능을 검증하기 위해.

제안 방법

• 메타이미저는 입사광을 각도와 편광에 따라 공간적으로 다중화하여 다수의 독립적인 광학 채널을 생성하는 메타표면을 활용한다.
• 각 채널은 메타표면의 위상 및 진폭 응답을 설계하여 별개의 컨볼루션 연산—양 또는 음의 연산—을 수행한다.
• 시스템은 각도 및 편광 다중화를 활용하여 하드웨어 복잡도를 증가시키지 않고도 효과적인 컨볼루션 커널의 수를 늘린다.
• 광학 출력은 디지털 카메라로 촬영되고 경량 신경망에 의해 입력 이미지를 분류한다.
• 메타표면은 특정 컨볼루션 연산을 위한 목표 전달 함수를 달성하기 위해 역설계 방법을 사용하여 설계된다.
• 실시간 이미지 입력과 분류를 위한 개념 증명 설정을 사용하여 아키텍처가 실험적으로 검증되었다.

실험 결과

연구 질문

• RQ1 메타표면을 사용하여 각도 및 편광 다중화를 통해 병렬로 다수의 컨볼루션 연산을 수행할 수 있는가?
• RQ2 광학 컨볼루션은 기계 시각 시스템에서 디지털 프로세서의 계산 부담을 어느 정도 줄일 수 있는가?
• RQ3 수동적 광학 시스템은 MNIST 및 Fashion-MNIST와 같은 표준 이미지 데이터셋을 얼마나 정확하게 분류할 수 있는가?
• RQ4 이러한 시스템에서 광학 복잡도, 에너지 효율성, 분류 정확도 사이의 상충 관계는 어떠한가?
• RQ5 이러한 메타이미저는 기존의 디지털 후처리 모듈과 통합되어 종단 간 추론 가속을 달성할 수 있는가?

주요 결과

• 메타이미저는 오직 광학 컨볼루션과 최소한의 디지털 분류기만을 사용하여 MNIST 데이터셋에서 98.6%의 분류 정확도를 달성했다.
• 시스템은 Fashion-MNIST 데이터셋에서 88.8%의 정확도를 확보하여 다양한 이미지 클래스에 대한 강건성을 입증했다.
• 광학 계산 단계는 무시할 만한 전력 소모를 보이며 빛의 속도로 작동하여 실시간 처리가 가능했다.
• 장치는 다중 컨볼루션 연산이 단일 광학 촬영에서 동시에 수행될 수 있도록 소형화 및 확장 가능성을 입증했다.
• 각도 및 편광 다중화의 통합은 추가 하드웨어 없이도 양의 및 음의 컨볼루션 커널을 모두 구현할 수 있도록 했다.
• 실험 결과는 메타표면을 통한 광학 컨볼루션 기술이 저에너지, 고속 기계 시각 가속화의 실현 가능한 길임을 확인했다.