[논문 리뷰] FlatCam: Thin, Bare-Sensor Cameras using Coded Aperture and Computation

M. Salman Asif, Ali Ayremlou외 3명|arXiv (Cornell University)|2015. 09. 01.

Optical measurement and interference techniques참고 문헌 33인용 수 67

한 줄 요약

FlatCam는 밀리미터 간격으로 렌즈가 없는 카메라를 사용하며, 순수한 이미지 센서 위에 코딩된 조리개 마스크를 배치하여 각 센서 픽셀이 장면 빛의 선형 조합을 기록하도록 한다. 역문제 해결을 통한 계산적 재구성 기법을 통해 이미지를 복원할 수 있으며, 센서 면적을 넓히고 마스크 설계를 최적화함으로써 동일 두께의 렌즈 기반 카메라 대비 약 100배 높은 빛 수집 능력을 달성한다.

ABSTRACT

FlatCam is a thin form-factor lensless camera that consists of a coded mask placed on top of a bare, conventional sensor array. Unlike a traditional, lens-based camera where an image of the scene is directly recorded on the sensor pixels, each pixel in FlatCam records a linear combination of light from multiple scene elements. A computational algorithm is then used to demultiplex the recorded measurements and reconstruct an image of the scene. FlatCam is an instance of a coded aperture imaging system; however, unlike the vast majority of related work, we place the coded mask extremely close to the image sensor that can enable a thin system. We employ a separable mask to ensure that both calibration and image reconstruction are scalable in terms of memory requirements and computational complexity. We demonstrate the potential of the FlatCam design using two prototypes: one at visible wavelengths and one at infrared wavelengths.

연구 동기 및 목표

• 전통적인 렌즈 기반 설계가 소형화 시에 조리개와 빛 통과율이 감소하므로, 카메라의 소형화를 도모하면서도 빛 수집 능력을 유지하는 데 도전한다.
• 렌즈를 코딩된 마스크로 대체하여 두께가 얇은 형상과 이미지 품질 사이의 상충 관계를 극복한다.
• 센서 면적을 최대화하고 분리 가능한 마스크를 사용하여 계산 복잡도를 감소시킴으로써 두꺼운 기기에서도 고성능 빛 수집을 가능하게 한다.
• 실시간에 가까운 재구성 기반의 가시광선 및 적외선 프로토타입을 통해 실현 가능성을 입증한다.
• 두께를 조리개 크기와 분리함으로써 기존 소형 렌즈 기반 카메라에 비해 뛰어난 빛 수집 효율성을 달성한다.

제안 방법

• 기존 이미지 센서 위 0.5mm 거리에 이진 코딩 마스크를 배치하여 장면의 빛을 조절하고, 센서에 다중 측정값을 생성한다.
• 각 픽셀이 마스크 패턴을 통해 통합하는 빛을 선형 시스템으로 모델링하며, 선형 연산자 H로 표현한다.
• 캘리브레이션 및 재구성의 확장성을 확보하기 위해 분리 가능한 마스크 설계를 사용한다.
• 역문제 해결을 위해 특이값 분해(SVD)를 적용하여 다중 측정값에서 장면을 재구성한다.
• 제조 가능성을 위해 상용 센서와 마스크를 사용하며, 마스크는 별도 웨이퍼에 제작되어 센서에 접합된다.
• 재구성 과정에서 노이즈 증폭을 최소화하고 공간 해상도를 향상시키기 위해 마스크 패턴을 최적화한다.

실험 결과

연구 질문

• RQ1 렌즈 대신 센서 근처에 코딩된 조리개를 사용함으로써, 두께가 얇으면서도 고성능 빛 수집 능력을 갖춘 렌즈 없는 카메라를 구현할 수 있는가?
• RQ2 코딩된 마스크와 센서 사이의 거리가 렌즈 없는 영상 시스템에서 각도 해상도와 공간 해상도에 미치는 영향은 어떠한가?
• RQ3 다중 측정 및 코딩된 조리개 영상 시스템에서 발생하는 공간 해상도 손실을 계산적 재구성 기법이 어느 정도 보완할 수 있는가?
• RQ4 분리 가능한 마스크 설계가 렌즈 없는 카메라의 대규모 센서 어레이에서 캘리브레이션 및 재구성의 확장성을 어떻게 보장하는가?
• RQ5 동일 두께의 기존 소형 렌즈 기반 카메라에 비해 FlatCam가 확보할 수 있는 빛 수집 능력의 우월성은 어느 정도인가?

주요 결과

• FlatCam 프로토타입는 큰 센서 면적과 고효율 수치적 조리개를 유지하는 마스크 덕분에 동일 두께의 렌즈 기반 카메라 대비 약 100배 높은 빛 수집 능력을 확보했다.
• 가시광선 프로토타입는 약 10fps의 재구성 속도로 실시간에 가까운 성능을 보이며, 촬영과 디스플레이 사이에 약 100ms의 지연이 발생한다.
• 가시광선 프로토타입의 TWR(두께 대 너비 비율)는 약 0.075로, 일반적인 렌즈 기반 카메라보다 훨씬 낮아 뛰어난 빛 수집 능력을 확보한다.
• 분리 가능한 마스크의 사용은 캘리브레이션 및 재구성의 확장성을 보장하여 메모리 및 계산 복잡도를 감소시킨다.
• 재구성 과정에서의 노이즈 증폭은 본질적인 문제이지만, 주의 깊은 마스크 패턴 설계를 통해 제어 가능하며, 고주파 공간 성분은 선형 시스템의 조건수에 의해 제한된다.
• 시스템은 가시광선 및 근적외선(SWIR) 파장 영역 모두에서 실현 가능함을 입증하였으며, SWIR 프로토타입에서는 마스크-센서 간격이 5mm이다.