[논문 리뷰] Computational multi-spectral video imaging

Peng 鹏 Wang 王, Rajesh Menon|Figshare|2017. 01. 01.

Optical Polarization and Ellipsometry인용 수 4

한 줄 요약

이 논문은 표준 이미지 센서에 스펙트럼 정보를 공간적으로 인코딩하기 위해 마이크로 구조가 가공된 회절 필터를 사용하는 컴act하고 단일 셔터(single-shot) 계산 다중 스펙트럼 비디오 카메라를 제시한다. 校정 이후 정규화 기반의 역행 해법을 활용함으로써, 이 시스템은 가시광선 대역(430–718 nm)에서 9.6 nm의 스펙트럼 해상도를 달성하고, 공간 해상도를 30% 이상 향상시키며, Vis-IR 영상 촬영을 가능하게 하며, 하드웨어 변경 없이 소프트웨어 기반으로 스펙트럼 해상도와 시야각 사이의 트레이드오프를 조정할 수 있다.

ABSTRACT

Multi-spectral imagers reveal information unperceivable to humans and conventional cameras. Here, we demonstrate a compact single-shot multi-spectral video-imaging camera by placing a micro-structured diffractive filter in close proximity to the image sensor. The diffractive filter converts spectral information to a spatial code on the sensor pixels. Following a calibration step, this code can be inverted via regularization-based linear algebra, to compute the multi-spectral image. We experimentally demonstrated spectral resolution of 9.6nm within the visible band (430nm to 718nm). We further show that the spatial resolution is enhanced by over 30% compared to the case without the diffractive filter. We also demonstrate Vis-IR imaging with the same sensor. Furthermore, our camera is able to computationally trade-off spectral resolution against the field of view in software without any change in hardware as long as sufficient sensor pixels are utilized for information encoding. Since no absorptive color filters are utilized, sensitivity is preserved as well. Finally, the diffractive filters can be easily manufactured using optical lithography and replication techniques.

연구 동기 및 목표

• 기존의 색필터와 다중 스펙트럼 카메라의 한계를 극복하는 컴팩트하고 단일 셔터 다중 스펙트럼 비디오 영상 시스템을 개발하는 것.
• 다중 스펙트럼 영상에서 스펙트럼 해상도, 공간 해상도, 시야각 사이의 트레이드오프 문제를 해결하는 것.
• 흡수성 색필터를 제거함으로써 감도를 향상시키고 전체 파장 대역에 걸친 반응을 유지하는 것.
• 계산 처리를 통해 소프트웨어 기반으로 스펙트럼 해상도와 공간 해상도의 트레이드오프를 실현하는 것.
• 표준 광학 리소그래피 및 복제 기술을 활용한 회절 필터의 실용적이고 확장 가능한 제작 방법을 제공하는 것.

제안 방법

• 스펙트럼 콘텐츠를 센서 픽셀에 공간적으로 인코딩된 패턴으로 변환하기 위해 이미지 센서에 근접한 마이크로 구조가 가공된 회절 필터를 적용한다.
• 스펙트럼에서 공간으로의 인코딩은 선형 시스템으로 모델링되며, 센서 반응은 장면의 스펙트럼 복사율과 필터의 전달 함수의 컨볼루션으로 표현된다.
• 시스템의 전방 응답 행렬을 측정하기 위해 校정 단계를 수행하여, 인코딩된 데이터의 역행 해법을 가능하게 한다.
• 정규화 기반 선형 대수 기법(예: 티콘코프 또는 티콘코프 유사 방법)을 사용하여 인코딩된 데이터를 역행하고 다중 스펙트럼 영상을 복원한다.
• 시스템은 계산 기반 재구성 기능을 지원하며, 더 많은 센서 픽셀을 스펙트럼 인코딩에 할당함으로써 스펙트럼 해상도를 더 넓은 시야각으로 트레이드오프할 수 있다.
• 동일한 센서와 필터 설계를 가시광선-적외선(Vis-IR) 영상에 확장하기 위해, 회절 필터의 광범위한 응답 특성을 활용한다.

실험 결과

연구 질문

• RQ1 흡수성 색필터를 사용하지 않고도 감도를 유지하면서 컴팩트하고 단일 셔터 다중 스펙트럼 비디오 카메라를 설계할 수 있는가?
• RQ2 어떻게 회절 필터를 이용해 효율적으로 공간에 스펙트럼 정보를 인코딩할 수 있으며, 이로써 고해상도의 스펙트럼 및 공간 해상도를 달성할 수 있는가?
• RQ3 단일 센서 노출에서 계산 복원을 통해 다중 스펙트럼 데이터를 높은 정밀도로 복원할 수 있는가?
• RQ4 하드웨어 변경 없이 소프트웨어 기반으로 스펙트럼 해상도와 시야각 사이의 동적 트레이드오프를 구현할 수 있는가?
• RQ5 회절 필터 설계는 표준 광학 리소그래피 및 복제 기술을 통해 확장 가능하고 제작 가능한가?

주요 결과

• 시스템은 가시광선 대역(430–718 nm) 내에서 9.6 nm의 스펙트럼 해상도를 달성하여 세밀한 스펙트럼 분류가 가능하다.
• 회절 필터를 사용하지 않은 전통적인 영상 시스템 대비 공간 해상도가 30% 이상 향상된다.
• 동일한 센서와 필터를 사용하여 Vis-IR 영상 촬영이 가능하며, 광범위한 응용 가능성을 입증한다.
• 인코딩을 위한 픽셀 할당을 조정함으로써 소프트웨어 기반으로 스펙트럼 해상도와 시야각 사이의 트레이드오프를 조정할 수 있다.
• 회절 필터는 광학 리소그래피 및 복제 기술을 통해 제작 가능하여 확장성 있고 저비용 생산이 가능하다.
• 흡수성 필터를 사용하지 않기 때문에 감도가 유지되며, 스펙트럼 전역에 걸쳐 전체 파장 응답이 유지된다.