[논문 리뷰] Depth estimation using structured light flow -- analysis of projected pattern flow on an object's surface --

Ryo Furukawa, Ryusuke Sagawa외 1명|arXiv (Cornell University)|2017. 10. 02.

Advanced Vision and Imaging참고 문헌 15인용 수 5

한 줄 요약

이 논문은 빠르게 움직이는 물체에 투사된 구조화된 빛 패턴에서 발생하는 운동 흐림(이하 '빛 흐름')을 활용하여 기존의 복호화 과정 없이 새로운 깊이 추정 방법을 제안한다. 두 대의 동기화된 비디오 프로젝터를 사용해 평행한 선 패턴을 순차적으로 투사하고, 각 선에 나타나는 운동 흐림의 너비(빛 흐름)를 측정함으로써 이 흐름의 비율을 통해 깊이를 추정한다. 이는 표준 카메라와 셔터 속도로도 빠르게 움직이는 물체, 예를 들어 회전하는 팬의 날개나 던진 공과 같은 물체의 정확한 3D 재구성 가능하게 한다.

ABSTRACT

Shape reconstruction techniques using structured light have been widely researched and developed due to their robustness, high precision, and density. Because the techniques are based on decoding a pattern to find correspondences, it implicitly requires that the projected patterns be clearly captured by an image sensor, i.e., to avoid defocus and motion blur of the projected pattern. Although intensive researches have been conducted for solving defocus blur, few researches for motion blur and only solution is to capture with extremely fast shutter speed. In this paper, unlike the previous approaches, we actively utilize motion blur, which we refer to as a light flow, to estimate depth. Analysis reveals that minimum two light flows, which are retrieved from two projected patterns on the object, are required for depth estimation. To retrieve two light flows at the same time, two sets of parallel line patterns are illuminated from two video projectors and the size of motion blur of each line is precisely measured. By analyzing the light flows, i.e. lengths of the blurs, scene depth information is estimated. In the experiments, 3D shapes of fast moving objects, which are inevitably captured with motion blur, are successfully reconstructed by our technique.

연구 동기 및 목표

• 운동 흐림으로 인해 기존의 구조화된 빛 기반 기법이 실패하는 빠르게 움직이는 물체의 3D 형상 재구성 문제를 해결하기 위해.
• 이전에는 문제로 간주되던 운동 흐림을 깊이 정보의 근원으로 활용함으로써, 이를 품질 저하 요인로 보지 않는 것을 목표로 한다.
• 패턴 복호화나 대응 관계 매칭에 의존하지 않고, 빛 흐름 비율을 직접 이용해 깊이를 추정함으로써 이를 제거하는 것을 목표로 한다.
• 소비자용 카메라와 프로젝터를 사용하여 극한의 운동 조건에서도 고정밀 3D 재구성을 가능하게 하는 것.

제안 방법

• 두 대의 비디오 프로젝터를 사용해 움직이는 물체에 두 세트의 평행한 선 패턴을 순차적으로 투사한다.
• 촬영된 이미지에서 각 선의 운동 흐림 너비(빛 흐름)를 측정하고, 이를 이동 벡터로 간주한다.
• 두 투사 간의 빛 흐름 비율을 추정하여 깊이를 표면 속도 및 법선 방향으로부터 분리한다.
• 기하학적 분석을 통해 빛 흐름 길이를 물체의 표면 속도와 투사 각도에 기반해 깊이와 연관지운다.
• 매우 흐릿한 이미지에서도 뿌연 선 세그먼트를 견고하게 탐지하기 위해 선 탐지 및 밴드 추출 알고리즘을 적용한다.
• 패턴 복호화나 대응 관계 매칭이 필요 없이 빛 흐름 비율에서 깊이를 계산함으로써 3D 형상을 재구성한다.

실험 결과

연구 질문

• RQ1 투사된 구조화된 빛 패턴에서 발생하는 운동 흐림이 신뢰할 수 있는 깊이 정보 근원이 될 수 있는가?
• RQ2 패턴의 위치 정보를 복호화하지 않고도 두 빛 흐름의 비율로부터 깊이를 추정할 수 있는가?
• RQ3 이 방법을 사용해 기존의 구조화된 빛 기법으로는 인식 불가능할 정도로 흐릿해진 빠르게 움직이는 물체의 3D 형상을 재구성할 수 있는가?
• RQ4 운동 흐림 너비의 정밀 측정이 깊이 추정 정확도에 어떻게 영향을 미치는가?

주요 결과

• 1ms 셔터 속도에서도 운동 흐림이 심한 상황에서 회전하는 팬의 날개를 정확히 3D로 재구성하는 데 성공했다.
• 던진 공에 대해 여러 프레임에 걸쳐 정확한 깊이 맵을 생성하여 빠른 운동 조건에서도 동적 형상 복구가 가능함을 입증했다.
• 단일 프로젝터 설정을 사용해 동시에 던진 두 개의 공을 성공적으로 재구성하여 기술의 확장성과 견고성을 검증했다.
• 패턴 복호화 없이 빛 흐름 비율에만 의존함으로써 기존의 접근 방식과의 핵심적 차이를 확립했다.
• 흐릿한 밴드의 너비를 정밀하게 측정하고 이를 빛 흐름의 대체 지표로 사용함으로써 실세계 조건에서 서브픽셀 수준의 깊이 추정이 가능했다.