[논문 리뷰] Optically lightweight tracking of objects around a corner

Jonathan Klein, Christoph Peters외 3명|arXiv (Cornell University)|2016. 06. 03.

Advanced Optical Sensing Technologies참고 문헌 26인용 수 45

한 줄 요약

이 논문은 초당 프레임 수가 빠른 검출기나 특수한 광원을 사용하지 않고도 표준 2차원 카메라와 레이저 포인터만으로 벽 뒤의 물체를 실시간으로 추적할 수 있는 광학적으로 경량화된 방법을 제시한다. 문제를 분석-합성 방식으로 재구성함으로써(반복적으로 빛의 전달을 시뮬레이션하고 최소 제곱 비용 함수를 최소화함으로써) 간접적인 산란 반사에 의한 물체의 이동과 회전을 실시간으로 추적한다.

ABSTRACT

The observation of objects located in inaccessible regions is a recurring challenge in a wide variety of important applications. Recent work has shown that indirect diffuse light reflections can be used to reconstruct objects and two-dimensional (2D) patterns around a corner. However, these prior methods always require some specialized setup involving either ultrafast detectors or narrowband light sources. Here we show that occluded objects can be tracked in real time using a standard 2D camera and a laser pointer. Unlike previous methods based on the backprojection approach, we formulate the problem in an analysis-by-synthesis sense. By repeatedly simulating light transport through the scene, we determine the set of object parameters that most closely fits the measured intensity distribution. We experimentally demonstrate that this approach is capable of following the translation of unknown objects, and translation and orientation of a known object, in real time.

연구 동기 및 목표

• 초당 프레임 수가 빠른 시간 도달 시간 이미징 하드웨어에 의존하지 않고도 가림 영역에 있는 물체를 감지하는 데 도전하는 것.
• 초당 프레임 수가 빠른 검출기나 좁은 대역폭의 광원을 사용하지 않고도 표준 2차원 카메라와 레이저 포인터만으로 알려진 또는 알려지지 않은 강체 물체를 실시간으로 추적하는 것.
• 백프로젝션 기반 방법의 한계를 극복하기 위해 역 문제를 암묵적인 최적화 과제로 재정의하는 것.
• 일상적으로 이용 가능한 광학 하드웨어를 사용한 비선형 시선 감지의 실용적 타당성을 입증하는 것.

제안 방법

• 장면 가설을 반복적으로 개선하여 관측된 강도 분포와 일치시키는 방식으로 추적 문제를 분석-합성 접근법으로 공식화한다.
• GPU 가속 렌더러를 사용하여 라운드 라이트-오브젝트-라운드 라이트의 3단계 간접 빛 전달을 라운드 반사율을 가진 표면에서 빠르게 시뮬레이션한다.
• 시뮬레이션된 강도 분포와 측정된 카메라 데이터를 비교하는 최소 제곱 비용 함수를 정의하고, 그 차이를 최소화하여 물체 자세를 추정한다.
• 관측된 영상을 레이저 켜짐과 끈 상태의 측정값 간의 차이로 모델링하고, 배경을 사전 추정하여 동적 물체 기여도를 분리한다.
• 물체를 제거한 상태에서 300장의 차분 영상을 평균하여 배경 반사율을 추정함으로써 입력 신호의 노이즈를 감소시킨다.
• 계산 효율성을 향상시키기 위해 영상 해상도를 160×128 픽셀로 다운샘플링하면서도 감지 가능한 저주파 강도 변조를 유지한다.

실험 결과

연구 질문

• RQ1 초당 프레임 수가 빠른 검출기나 좁은 대역폭의 광원을 사용하지 않고도 표준 2차원 카메라와 레이저 포인터만으로 벽 뒤의 알려지지 않은 물체를 실시간으로 추적할 수 있는가?
• RQ2 광선 전달 시뮬레이션을 기반으로 한 분석-합성 접근법이 비선형 시선 감지의 애매한 역 문제를 해결하는 데 얼마나 효과적인가?
• RQ3 3단계 산란 반사 구조에서 물체 운동으로 인해 발생하는 강도 변조의 감지 민감도는 어느 정도인가?
• RQ4 간접 반사에서의 강도 측정값만으로 물체의 이동과 회전을 얼마나 정확하게 추정할 수 있는가?

주요 결과

• 시스템은 표준 카메라와 레이저 포인터의 강도 측정값만을 사용하여 알려지지 않은 물체의 이동을 실시간으로 성공적으로 추적한다.
• 빠른 GPU 가속 광선 전달 시뮬레이션과 최소 제곱 비용 함수의 효율적 최적화를 통해 실시간 성능를 달성한다.
• 시뮬레이션된 강도 분포와 관측된 강도 분포 간의 차이를 최소화함으로써 알려진 물체의 이동과 회전을 모두 추적할 수 있다.
• 300프레임에 걸친 평균 배경 추정을 통해 노이즈와 배경 변화에 강건함을 입증하였으며, 이는 입력 데이터의 노이즈 감소에 기여한다.
• 시간 해상도 측정이나 특수한 광학 부품을 요구하지 않아 실생활 적용에 실용적이다.
• 합성 시뮬레이션을 통해 물체 운동이 벽에 측정 가능한 강도 변조를 유도함을 확인하였으며, 간접적인 빛 전달을 통한 자세 변화 감지 가능성은 검증되었다.