[논문 리뷰] Single-shot ToF sensing with sub-mm precision using conventional CMOS sensors

Manuel Ballester, Heming Wang외 3명|arXiv (Cornell University)|2022. 12. 02.

Advanced Optical Sensing Technologies인용 수 4

한 줄 요약

이 논문은 기존 CMOS 센서를 사용하여 합성 파장 간섭계 기반의 단일 촬영 방식의 시간 간격 영상(ToF) 카메라를 제안하여 밀리미터 이내의 깊이 정밀도를 달성한다. 여러 파장을 이용해 물체를 조명하고 간섭계 기반 위상 풀이 기법을 활용함으로써, 한 번의 촬영으로 전체 3D 모델을 캡처할 수 있으며, 이는 움직임에 강건하고 고해상도의 3D 영상 촬영을 가능하게 하여, 동적인 물체나 거친 표면을 대상으로 최대 330 µm의 깊이 정밀도를 제공한다.

ABSTRACT

We present a novel single-shot interferometric ToF camera targeted for precise 3D measurements of dynamic objects. The camera concept is based on Synthetic Wavelength Interferometry, a technique that allows retrieval of depth maps of objects with optically rough surfaces at submillimeter depth precision. In contrast to conventional ToF cameras, our device uses only off-the-shelf CCD/CMOS detectors and works at their native chip resolution (as of today, theoretically up to 20 Mp and beyond). Moreover, we can obtain a full 3D model of the object in single-shot, meaning that no temporal sequence of exposures or temporal illumination modulation (such as amplitude or frequency modulation) is necessary, which makes our camera robust against object motion. In this paper, we introduce the novel camera concept and show first measurements that demonstrate the capabilities of our system. We present 3D measurements of small (cm-sized) objects with > 2 Mp point cloud resolution (the resolution of our used detector) and up to sub-mm depth precision. We also report a "single-shot 3D video" acquisition and a first single-shot "Non-Line-of-Sight" measurement. Our technique has great potential for high-precision applications with dynamic object movement, e.g., in AR/VR, industrial inspection, medical imaging, and imaging through scattering media like fog or human tissue.

연구 동기 및 목표

• 운동에 강건하고 고정밀도의 3D 영상 촬영 시스템을 개발하기 위해 동적인 표면과 광학적으로 거친 표면을 대상으로 한다.
• 기존 ToF 카메라의 한계를 극복하기 위해, 낮은 깊이 정밀도와 시간에 따른 조절 또는 다중 촬영이 필요로 하는 문제를 해결한다.
• 특수한 센서 아키텍처가 필요 없이 일반적인 오프더슈트(CMOS) 센서만을 사용하여 단일 촬영 3D 재구성 기능을 실현한다.
• 합성 파장 간섭계를 단일 촬영 프레임워크 내에서 동적인 거대한 거친 표면 물체로 확장한다.
• 단일 촬영 간섭계 기반 ToF 방식을 이용한 비선형 시야(NLoS) 영상 촬영의 가능성을 입증한다.

제안 방법

• 다양한 레이저 파장(λ₁, λ₂ 등)을 사용하여 간섭계 측정에서 모호한 위상 풀이 문제를 해결할 수 있는 합성 파장(Λ)을 생성한다.
• 객체 및 기준 광선 간의 간섭 무늬는 일반적인 CMOS 센서를 사용해 한 번의 촬영으로 원본 픽셀 해상도(최대 20 Mp)로 캡처된다.
• 캡처된 이미지의 푸리에 도메인에서 위상 맵을 추출하고, 합성 파장 간섭계 기법을 적용하여 위상을 해독하고 깊이를 복원한다.
• 다중 파장 간섭계 기법을 활용해 거친 표면에서 발생하는 스펙클로 인한 무작위 위상 변동을 해소함으로써, 단일 파장 간섭계의 한계를 초월한 깊이 정밀도를 실현한다.
• 계산 기반 파ip라인을 통해 위상 맵을 복원한 후 전체 3D 포인트 클라우드를 재구성하며, 횡방향 해상도는 센서 해상도와 렌즈 설계에 의해 제한된다.
• 시스템은 기준 광선과 객체 광선 간의 최소한의 광로 차이를 유지하도록 설계되어 안정적인 간섭과 고정밀도 깊이 복원을 보장한다.

실험 결과

연구 질문

• RQ1 표준 CMOS 센서만을 사용하여 단일 촬영 ToF 카메라에서 합성 파장 간섭계 기법을 적용해 밀리미터 이내의 깊이 정밀도를 달성할 수 있는가?
• RQ2 움직이는 물체나 광학적으로 거친 표면을 촬영할 때 시스템이 높은 깊이 정밀도와 움직임에 강건한 성능을 유지할 수 있는가?
• RQ3 단일 촬영 간섭계 기반 ToF 방식을 비선형 시야(NLoS) 영상 촬영 상황으로 확장하는 것이 가능한가?
• RQ4 다양한 레이저 파장과 합성 파장 설계에 따라 시스템 성능이 어떻게 변화하는가?
• RQ5 푸리에 도메인에서 렌즈 크기, 시야각, 스펙트럼 간격 간의 기본적인 상충 관계는 무엇인가?

주요 결과

• 시스템은 최대 330 µm의 깊이 정밀도를 달성하여 기존 ToF 카메라 대비 100배 향상된 성능을 보였다.
• 움직이는 물체의 단일 촬영 3D 영상 촬영에 성공하여 시간에 따른 조절 없이도 움직임에 강건함을 입증했다.
• 합성 파장 간섭계 기반의 첫 번째 단일 촬영 비선형 시야(NLoS) 측정을 실현하여, 이 기법을 선형 시야 영역을 초월한 영역으로 확장했다.
• 센서의 원본 해상도에 의해 제한되는 바, 단일 촬영으로 2 Mp 이상의 해상도를 갖는 전체 3D 포인트 클라우드를 재구성했다.
• 이 방법은 3개 이상의 파장을 적용할 수 있어 다중 합성 파장을 생성하고 단일 촬영 환경에서 위상 풀이 성능을 향상시킬 수 있다.
• 시스템은 표준 CMOS 센서의 제약 조건 내에서 작동하며, 특수한 센서 아키텍처나 시간 다중화 기법을 요구하지 않는다.