[논문 리뷰] Event-Based Structured Light for Depth Reconstruction using Frequency Tagged Light Patterns

Thierry Leroux, Sio-Hoï Ieng외 1명|arXiv (Cornell University)|2018. 11. 27.

Advanced Vision and Imaging참고 문헌 17인용 수 14

한 줄 요약

이 논문은 주파수 태그가 부여된 조명 패턴과 이방성 이벤트 카메라를 사용하여 실시간 3D 깊이 복원을 위한 새로운 이벤트 기반 구조광 방법을 제안한다. 공간적 조명 패턴 요소에 고유한 깜빡임 주파수를 할당함으로써, 이방성 이벤트의 시간적 상관관계를 통한 단계 기반 깊이 추정이 가능해지며, 실제 환경에서 피кс셀 이하 정밀도로 몇백 헤르츠에 이르는 복원 속도를 달성한다.

ABSTRACT

This paper presents a new method for 3D depth estimation using the output of an asynchronous time driven image sensor. In association with a high speed Digital Light Processing projection system, our method achieves real-time reconstruction of 3D points cloud, up to several hundreds of hertz. Unlike state of the art methodology, we introduce a method that relies on the use of frequency tagged light pattern that make use of the high temporal resolution of event based sensors. This approch eases matching as each pattern unique frequency allow for any easy matching between displayed patterns and the event based sensor. Results are show on real scenes.

연구 동기 및 목표

• 구조광 깊이 측정에서 프레임 기반 카메라의 한계, 특히 밝은 조명 조건에서 낮은 프레임 레이트와 열악한 다이내믹 레인지 문제를 해결하기 위해.
• 이벤트 기반 센서의 초고속 시간 해상도와 넓은 다이내믹 레인지 특성을 활용하여 실시간 3D 복원을 가능하게 하기 위해.
• 이벤트 기반 센서의 비동기 이벤트 스트림을 활용하여 프레임 기반 강도 측정 대신 빠르게 움직이는 물체에 대해 강건한 깊이 추정을 가능하게 하기 위해.
• 공간적 위치를 시간 모듈레이션을 통해 고유하게 식별할 수 있는 주파수 다중접속 패턴 코딩 체계를 개발하기 위해.

제안 방법

• 각 공간 요소가 고유한 주파수로 깜빡이는 구조광 패턴을 투사함으로써, 주파수 기반으로 패턴 위치를 식별할 수 있도록 한다.
• 이벤트 기반 카메라(ATIS)가 마이크로초 정밀도로 비밀도 변화 이벤트를 비동기적으로 캡처하며, 각 픽셀에 대해 타임스탬프가 부여된 스파ike 트레인을 생성한다.
• 버스트 필터는 이벤트 스트림에서 듀티 사이클과 주파수 성분을 추출하여 각 공간적 근접 영역의 투사 패턴의 변조를 추정한다.
• 단계 이동 기법은 이벤트 데이터에 적응하여, 인접한 픽셀 간에 교차하는 양성 및 음성 이벤트 버스트 간의 시간 지연을 측정함으로써 적용된다.
• 재귀적 풀이 알고리즘은 각 스캔 라인을 따라 상대적 단계 차이에서 절대 단계를 계산하여, 삼각측량을 통한 깊이 복원을 가능하게 한다.
• 3×3 픽셀 근접 영역에 걸쳐 코드워드를 공간적으로 평균화함으로써 패턴 특징의 피크셀 이하 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 이벤트 기반 센서와 함께 사용될 때 주파수 태그가 부여된 조명 패턴이 강건하고 정확한 깊이 복원을 가능하게 하는가?
• RQ2 단계 이동 기법은 어떻게 비동기 이벤트 데이터에 적응할 수 있는가? (프레임 기반 강도 측정 대신)
• RQ3 주파수 인코딩 패턴을 사용한 이벤트 기반 구조광을 통해 얻을 수 있는 3D 포인트 클라우드의 복원 속도와 정확도는 어느 정도인가?
• RQ4 이벤트 기반 시간적 상관관계와 공간 필터링을 통해 깊이 추정에서 피크셀 이하 해상도를 달성할 수 있는가?
• RQ5 실제 조명 조건과 움직이는 물체가 있는 상황에서 시스템의 성능은 어떠한가?

주요 결과

• 이 방법은 몇백 헤르츠에 이르는 실시간 3D 복원을 달성하여 일반적인 프레임 기반 시스템을 크게 초월한다.
• 실제 환경에서의 시나리오에서 밀도 높은 3D 포인트 클라우드를 생성하였으며, 그 결과는 그림 10에서 확인할 수 있다.
• 그림 9의 색상 코딩 출력은 각 공간 영역의 듀티 사이클과 주파수 추정에 성공했음을 확인하며, 올바른 패턴 복호화가 이루어졌음을 시사한다.
• 3×3 픽셀 코드워드의 공간 평균화를 통해 피크셀 이하 위치 추정이 달성되었으며, 국소화 정확도가 향상되었다.
• 이벤트 센서의 143 dB 다이내믹 레인지 덕분에 도전적인 조명 조건에서도 깊이 복원이 가능하다.
• 이벤트 기반 센싱의 특성상 운동 블러와 시간 앨리어싱이 자연스럽게 방지되므로, 이는 운동에 대한 강건성을 보여준다.