[논문 리뷰] A Light Transport Model for Mitigating Multipath Interference in TOF Sensors

Nikhil Naik, Achuta Kadambi외 4명|arXiv (Cornell University)|2015. 01. 20.

Advanced Optical Sensing Technologies참고 문헌 6인용 수 10

한 줄 요약

이 논문은 연속파 시간간섭도(ToF) 카메라 측정값과 직접 및 전반적인 조명 성분을 통합한 경량 운반 모델을 제안하여 깊이 영상에서 다중경로 간섭(MPI)을 감소시킨다. 이전의 희박성 기반 방법보다 더 정확하게 광학 운반을 모델링함으로써, Kinect 센서를 사용한 시뮬레이션 및 물리적 데이터셋에서 깊이 정확도에 있어 상당한 정량적 향상을 달성한다.

ABSTRACT

Continuous-wave Time-of-flight (TOF) range imaging has become a commercially viable technology with many applications in computer vision and graphics. However, the depth images obtained from TOF cameras contain scene dependent errors due to multipath interference (MPI). Specifically, MPI occurs when multiple optical reflections return to a single spatial location on the imaging sensor. Many prior approaches to rectifying MPI rely on sparsity in optical reflections, which is an extreme simplification. In this paper, we correct MPI by combining the standard measurements from a TOF camera with information from direct and global light transport. We report results on both simulated experiments and physical experiments (using the Kinect sensor). Our results, evaluated against ground truth, demonstrate a quantitative improvement in depth accuracy.

연구 동기 및 목표

• 다중경로 간섭(MPI)으로 인해 발생하는 장면에 따라 달라지는 깊이 오차를 해결하기 위해.
• 광학 반사의 극도로 희박한 가정에 의존하는 이전의 MPI 보정 방법의 한계를 극복하기 위해.
• 표준 TOF 측정값에 물리적 광선 운반 모델링을 통합하여 더 정확한 MPI 완화 기법을 개발하기 위해.
• 시뮬레이션 환경과 실제 실험을 모두 활용하여 Kinect 센서를 사용해 방법을 검증하기 위해.

제안 방법

• 이 방법은 빛이 표면을 통해 반사되어 센서에 도달하기 전의 경로를 캡처하는 직접 및 전반적인 성분의 조합을 사용하여 장면 내 광선 운반을 모델링한다.
• 측정된 TOF 강도와 원래의 장면 기하학 및 반사 특성 간의 관계를 나타내는 선형 시스템을 수립한다.
• 빛의 경로를 원천에서 센서까지 포함하는 간접 및 다중 반사 성분을 표현하기 위해 광선 운반 행렬을 사용한다.
• 물리적 타당성과 깊이 추정의 매끄러움을 강제하는 정규화된 최적화 프레임워크를 사용하여 모델을 해결한다.
• 표준 TOF 측정값과 추정된 운반 성분을 통합하여 더 정확한 깊이 맵을 재구성한다.
• 성능 평가를 위해 이 방법은 시뮬레이션 장면과 Kinect 센서에서 확보한 실제 데이터에 모두 적용된다.

실험 결과

연구 질문

• RQ1 광선 운반 모델링은 다중경로 간섭으로 인해 영향을 받는 TOF 카메라의 깊이 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 희박성 기반 가정과 비교했을 때 전반적인 조명 성분을 통합하면 깊이 오차는 어느 정도 감소하는가?
• RQ3 제안된 모델은 실제 TOF 영상에서 다양한 장면 기하학 및 재질에 대해 일반화될 수 있는가?
• RQ4 시뮬레이션 및 물리적 실험에서 참값과 비교했을 때 이 방법의 정량적 성능은 어떠한가?

주요 결과

• 제안된 방법은 시뮬레이션 및 물리적 실험 모두에서 기준 TOF 측정값에 비해 깊이 정확도에서 측정 가능한 향상을 달성한다.
• 전반적인 광선 운반 성분의 통합은 단지 희박성 가정에 의존하는 방법보다 더 정확한 깊이 맵을 제공한다.
• 참값에 대한 정량적 평가를 통해 다양한 장면 구성에서 깊이 오차가 일관되게 감소하는 것으로 나타났다.
• 복잡한 장면에서 다중 반사 및 비람베르티안 표면이 존재하는 경우에도 이 방법은 다중경로 간섭을 효과적으로 완화한다.
• Kinect 센서에서의 결과는 MPI가 널리 퍼져 있는 실제 환경에서 이 방법이 깊이 정확도를 향상시킨다는 것을 보여준다.
• 모델의 성능은 다양한 재질과 장면 기하학에서 뛰어난 안정성을 보이며, 이상적인 가정을 초월한 일반화 능력을 나타낸다.