[논문 리뷰] Foveated Thermal Computational Imaging in the Wild Using All-Silicon Meta-Optics

Vishwanath Saragadam, Zheyi Han외 8명|arXiv (Cornell University)|2022. 12. 13.

Photonic and Optical Devices인용 수 5

한 줄 요약

이 논문은 장거리 적외선(LWIR) 대역에서 실시간, 전체 실리콘 메타광학 시스템을 이용한 후각 열영상 촬영을 위한 최초의 시스템을 제시한다. 편광에 민감한 메탈렌즈와 회전하는 편광판을 활용하여 고해상도 후각 영역과 저해상도 주변후각 영역 이미지를 다중화한 후, 딥 이미지 프리두 또는 빠른 최소 제곱법을 이용한 계산적 재구성으로 실생활 조건에서 12 fps의 후각 영상 촬영을 구현하였으며, 후각 확장 비율은 1:6이다.

ABSTRACT

Foveated imaging provides a better tradeoff between situational awareness (field of view) and resolution and is critical in long-wavelength infrared regimes because of the size, weight, power, and cost of thermal sensors. We demonstrate computational foveated imaging by exploiting the ability of a meta-optical frontend to discriminate between different polarization states and a computational backend to reconstruct the captured image/video. The frontend is a three-element optic: the first element which we call the "foveal" element is a metalens that focuses s-polarized light at a distance of $f_1$ without affecting the p-polarized light; the second element which we call the "perifoveal" element is another metalens that focuses p-polarized light at a distance of $f_2$ without affecting the s-polarized light. The third element is a freely rotating polarizer that dynamically changes the mixing ratios between the two polarization states. Both the foveal element (focal length = 150mm; diameter = 75mm), and the perifoveal element (focal length = 25mm; diameter = 25mm) were fabricated as polarization-sensitive, all-silicon, meta surfaces resulting in a large-aperture, 1:6 foveal expansion, thermal imaging capability. A computational backend then utilizes a deep image prior to separate the resultant multiplexed image or video into a foveated image consisting of a high-resolution center and a lower-resolution large field of view context. We build a first-of-its-kind prototype system and demonstrate 12 frames per second real-time, thermal, foveated image, and video capture in the wild.

연구 동기 및 목표

• 열영상 시스템에서 동시에 고해상도 목표물 탐지와 광역 상황 인식을 달성하는 데 도전한다.
• 큰 픽셀 크기와 재료 제약로 인해 기존의 후각 센서와 동적 광학 장치가 LWIR 대역에서 성능에 한계를 가진다는 점을 극복한다.
• 편광 다중화를 활용한 전체 실리콘 메타광학 기반 실시간 계산적 후각 영상 촬영을 가능하게 한다.
• 고품질 재구성 성능을 보장하는 12 fps 후각 열영상 촬영이 가능한 프로토타입 시스템을 구현한다.

제안 방법

• 후각 메탈렌즈(150 mm, s-편광 빛 집중), 주변후각 메탈렌즈(25 mm, p-편광 빛 집중), 자유롭게 회전하는 편광판을 포함한 3요소 메타광학 프론트엔드 설계.
• 모든 실리콘 메타표면으로 구성된 두 메탈렌즈를 제작하여 대형 입구, 저손실, 넓은 대역의 LWIR 작동을 가능하게 한다.
• 회전하는 편광판을 사용해 후각 및 주변후각 영역 이미지 간 강도 비율을 동적으로 조절함으로써 단일 열영상 센서에 다중화된 측정값을 생성한다.
• 딥 이미지 프리두 기반 계산적 백엔드를 적용하여 다중화된 데이터에서 고해상도 후각 및 저해상도 주변후각 영역 이미지를 분리 및 재구성한다.
• 혼합 비율이 사전에 알려져 있을 경우, 빠른 최소 제곱법 솔버를 통해 실시간 재구성을 구현하며, 양면 필터링을 통해 노이즈를 감소시켜 최대 40 fps 성능을 달성한다.
• 두 단계의 이미지 정렬 및 캘리브레이션 파이프라인을 구현하여 후각 및 주변후각 구성 요소 간 강체 변환(확대 및 이동)을 추정함으로써 정확한 재구성 성능을 확보한다.

실험 결과

연구 질문

• RQ1 기존 광학 및 센서 기술이 기본적인 제약을 가진 LWIR 대역에서 편광 다중화 메타광학이 후각 열영상 촬영을 가능하게 할 수 있는가?
• RQ2 계산 영상 기법을 어떻게 활용하여 단일 다중화 측정값에서 고품질 후각 열영상 이미지를 재구성할 수 있는가?
• RQ3 운동 왜곡이나 낮은 분리도를 피하기 위해 최적의 재구성 품질을 확보하기 위해 필요한 최소 프레임 수는 얼마인가?
• RQ4 혼합 비율이 사전에 알려져 있을 경우, 계산 효율성이 높은 방법으로 실시간 후각 열영상 촬영이 가능한가?
• RQ5 기계적 정렬이 촬영 간에 변동할 경우, 어떻게 체계적으로 시스템 캘리브레이션을 수행할 수 있는가?

주요 결과

• 프로토타입 시스템은 실생활 조건에서 12 프레임당 1초의 속도로 후각 열영상 촬영을 성공적으로 수행하였으며, LWIR 대역에서 실시간 계산적 후각 영상 촬영의 첫 실현 사례임을 입증하였다.
• 12~16 프레임의 촬영을 통해 최적의 재구성 품질을 달성하였으며, 정보량과 운동 왜곡 간의 균형을 확보하였다. 이보다 적은 프레임 수는 분리도가 열악하고, 더 많은 프레임 수는 블러가 증가하는 경향이 있었다.
• 혼합 비율이 사전에 알려져 있을 경우, 빠른 최소 제곱법 솔버를 사용해 최대 40 fps의 실시간 재구성을 달성할 수 있었지만, 딥 이미지 프리두 기반 재구성 결과보다 노이즈가 더 많았다.
• 딥 이미지 프리두 기반 재구성은 더 높은 품질의 결과를 도출하였지만, 프레임당 최대 50초가 소요되어 실시간 사용에는 부적합하였다.
• 두 단계의 캘리브레이션 프로세스—고정된 1:6 확대 비율을 기준으로 한 초기 이동 추정 및 강도 기반 정밀 조정—을 통해 다양한 정렬 조건에서도 후각 및 주변후각 구성 요소 간 정확한 정렬을 가능하게 하였다.
• 150 mm 대비 25 mm의 초점 거리 비율인 1:6의 후각 확장 비율을 달성하여 고해상도 중심 영역 이미징과 넓은 시야의 맥락 제공이 가능했으며, 시뮬레이션 및 실생활 실험을 통해 검증되었다.