[논문 리뷰] Adaptive lighting for data-driven non-line-of-sight 3D localization and object identification

Sreenithy Chandran, Suren Jayasuriya|arXiv (Cornell University)|2019. 01. 01.

Advanced Optical Sensing Technologies인용 수 2

한 줄 요약

이 논문은 전통적인 카메라와 프로젝터만을 사용하여 비선형 시야(NLOS) 3D 국소화 및 물체 식별을 위한 데이터 기반, 적응형 조명 기법을 제안한다. 이는 복잡한 선형 시야 장면을 통과하는 빛의 경로를 최적화하기 위해 레이디오시티 기반 조명 계획을 활용한다. 실제 하드웨어 데이터에서 물체 식별 정확도는 87.1%이며, 중심점 국소화의 평균 제곱 오차(MSE)는 1.97 cm이다.

ABSTRACT

Non-line-of-sight (NLOS) imaging of objects not visible to either the camera or illumination source is a challenging task with vital applications including surveillance and robotics. Recent NLOS reconstruction advances have been achieved using time-resolved measurements which requires expensive and specialized detectors and laser sources. In contrast, we propose a data-driven approach for NLOS 3D localization and object identification requiring only a conventional camera and projector. To generalize to complex line-of-sight (LOS) scenes with non-planar surfaces and occlusions, we introduce an adaptive lighting algorithm. This algorithm, based on radiosity, identifies and illuminates scene patches in the LOS which most contribute to the NLOS light paths, and can factor in system power constraints. We achieve an average identification of 87.1% object identification for four classes of objects, and average localization of the NLOS object's centroid with a mean-squared error (MSE) of 1.97 cm in the occluded region for real data taken from a hardware prototype. These results demonstrate the advantage of combining the physics of light transport with active illumination for data-driven NLOS imaging.

연구 동기 및 목표

• 비평면 표면과 가림이 있는 복잡한 장면에서 비선형 시야(NLOS) 영상의 과제를 해결한다.
• 특수한 시간 해상도 감지기나 레이저 원천 없이 3D 국소화 및 물체 식별을 가능하게 한다.
• 장면 기하학적 구조와 빛 전달 물리 법칙을 기반으로 조명을 최적화하는 적응형 조명 전략을 개발한다.
• 실제 구현을 위해 시스템 전력 제약 조건을 조명 계획 과정에 통합한다.
• 기존 영상 하드웨어를 사용한 데이터 기반 NLOS 영상의 실현 가능성을 입증한다.

제안 방법

• 빛이 도달하는 장면 패치에서 은폐된 NLOS 물체까지의 빛 전달 경로를 예측하기 위해 레이디오시티 기반 모델을 사용한다.
• NLOS 신호 경로에 기여도가 가장 높은 선형 시야(LOS) 장면 패치를 식별하고 우선순위를 정한다.
• 이러한 고기여도 패치에 대해 동적으로 조명을 적응시켜 NLOS 신호 강도를 최대화한다.
• 실제 조명 에너지 사용을 보장하기 위해 시스템 전력 제약 조건을 최적화에 통합한다.
• 실제 하드웨어 데이터를 기반으로 학습된 데이터 기반 모델을 통해 투사된 조명 패턴과 NLOS 물체의 특징 및 위치를 매핑한다.
• 물리적 빛 전달 모델링과 학습된 표현을 융합하여 강건한 국소화 및 식별 성능을 달성한다.

실험 결과

연구 질문

• RQ1 어떻게 적응형 조명이 비평면 표면과 가림이 있는 복잡한 장면에서 NLOS 영상 성능을 향상시킬 수 있는가?
• RQ2 시간 해상도 감지기가 없는 조건에서 데이터 기반 접근 방식이 얼마나 정확한 3D 국소화 및 물체 식별을 달성할 수 있는가?
• RQ3 레이디오시티 기반 조명 계획이 관련 LOS 패치의 신호 기여도를 어떻게 향상시키는가?
• RQ4 시스템 전력 제약 조건은 NLOS 영상에 대한 적응형 조명 설계와 성능에 어떤 영향을 미치는가?
• RQ5 물리 정보 기반 조명 전략과 함께 기존 카메라와 프로젝터 시스템이 고정밀도 NLOS 국소화 및 식별을 달성할 수 있는가?

주요 결과

• 제안된 적응형 조명 방법은 실제 하드웨어 데이터에서 네 가지 물체 유형에 대해 평균 87.1%의 물체 식별 정확도를 달성했다.
• 시스템은 은폐된 영역 내 NLOS 물체의 중심점 국소화에서 평균 제곱 오차(MSE)가 1.97 cm였다.
• 레이디오시티 기반 조명 계획은 NLOS 빛 전달 경로에 가장 기여도가 높은 LOS 패치를 성공적으로 식별하고 우선순위를 정했다.
• 성능 저하 없이 시스템 전력 제약 조건 하에서도 효과적으로 작동했다.
• 물리적 빛 전달 모델링과 데이터 기반 학습의 융합이 실제 세계 데이터에서 강건한 성능을 달성하는 데 기여했다.
• 결과적으로 기존 카메라와 프로젝터 시스템이 지능적인 조명 전략과 결합될 경우 고정밀도 NLOS 영상이 가능함을 입증했다.