[논문 리뷰] Improvements of the 3D images captured with Time-of-Flight cameras

D. Falie|ArXiv.org|2009. 09. 30.

Advanced Optical Sensing Technologies참고 문헌 10인용 수 4

한 줄 요약

이 논문은 간접광과 플레어 빛으로 인해 어두운 표면에서 발생하는 3D Time-of-Flight (ToF) 카메라 영상의 깊이 오차를 줄이기 위한 校정 기반 방법을 제안한다. 시나리오에 대비 태그(동일한 거리에 있는 흰색과 검은색 영역)를 배치함으로써, 태그 간의 거리 불일치를 측정하고 깊이 맵을 보정하기 위한 보정 벡터를 계산한다. 이는 반사율이 낮은 표면에서 정확도를 크게 향상시킨다.

ABSTRACT

3D Time-of-Flight camera's images are affected by errors due to the diffuse (indirect) light and to the flare light. The presented method improves the 3D image reducing the distance's errors to dark surface objects. This is achieved by placing one or two contrast tags in the scene at different distances from the ToF camera. The white and black parts of the tags are situated at the same distance to the camera but the distances measured by the camera are different. This difference is used to compute a correction vector. The distance to black surfaces is corrected by subtracting this vector from the captured vector image.

연구 동기 및 목표

• 간접광 및 플레어 빛 효과로 인한 Time-of-Flight 카메라의 깊이 측정 정확도 저하 문제를 해결하기 위해.
• 반사율이 낮거나 어두운 표면에서의 깊이 정확도를 향상시키기 위해. 이는 ToF 영상에서 저반사 표면에서의 깊이 값 과소평가 경향이 있기 때문이다.
• 물리적 기준 마커를 사용하여 시나리오 내에서 실용적인 校정 방법을 개발하여 체계적 깊이 오차를 추정하고 보정하기 위해.
• 표면 반사율에 대한 사전 지식이나 장면 모델링이 필요 없이 정확한 3D 재구성 가능성을 확보하기 위해.
• 기존 ToF 카메라 시스템에 쉽게 적용 가능한 단순하고 구현 가능한 보정 기법을 제공하기 위해.

제안 방법

• 흰색과 검은색 영역가 동일한 물리적 거리에 위치한 대비 태그를 시나리오에 배치한다.
• 카메라는 흰색 및 검은색 영역의 깊이 값을 캡처하며, 이는 빛 산산조각 내림 및 플레어 효과로 인해 서로 다를 수 있다.
• 흰색 영역 및 검은색 영역의 측정된 깊이 간의 차이를 보정 벡터로 계산한다.
• 이 보정 벡터는 모든 깊이 값에서 빼는 방식으로 깊이 맵에 적용되며, 특히 반사율이 낮은 영역에 초점을 맞춘다.
• 이 방법은 보정 벡터가 시나리오 전반에서 일관되게 적용되며, 깊이 오차를 균일하게 보정한다고 가정한다.
• 표면 반사율이나 장면 기하학에 대한 지식이 필요 없으며, 오직 두 개의 알려진 마커 간 상대적 깊이 이동만을 기반으로 한다.

실험 결과

연구 질문

• RQ1 간접광 및 플레어 빛으로 인한 깊이 오차는 어떻게 효과적으로 보정할 수 있는가?
• RQ2 대비 마커를 사용한 단순한 시나리오 내 校정이 어두운 표면에서의 깊이 정확도 향상에 기여할 수 있는가?
• RQ3 ToF 영상에서 고반사율 영역과 저반사율 영역 간 깊이 오차의 크기 및 일관성은 어떠한가?
• RQ4 대비 태그에서 유도된 단일 보정 벡터가 전체 깊이 맵 품질 향상에 어느 정도 기여하는가?
• RQ5 이 보정 방법은 다양한 장면 구성 및 조명 조건에서도 안정적인가?

주요 결과

• 대비 태그의 흰색 및 검은색 영역 간 깊이 불일치를 활용하여 어두운 표면에서의 깊이 오차를 성공적으로 감소시켰다.
• 대비 태그에서 유도된 보정 벡터는 간접광 및 플레어 빛으로 인한 체계적 깊이 편향을 효과적으로 보정한다.
• 표면 반사율이나 장면 기하학에 대한 사전 지식이 없이도 깊이 정확도를 향상시킬 수 있다.
• 단순한 물리적 마커만으로 기존 ToF 카메라 시스템에 최소한의 하드웨어 수정으로 적용 가능하며, 실용적이다.
• 보정은 깊이 맵 전반에 균일하게 적용되어 반사율이 낮은 물체의 재구성 품질을 크게 향상시킨다.
• 표면 반사율이 다양할 수 있는 실세계 3D 영상 응용 분야에서의 실현 가능성을 입증했다.