[논문 리뷰] Kinect Range Sensing: Structured-Light versus Time-of-Flight Kinect

Hamed Sarbolandi, Damien Lefloch외 1명|arXiv (Cornell University)|2015. 05. 20.

Advanced Optical Sensing Technologies참고 문헌 39인용 수 13

한 줄 요약

이 논문은 일곱 가지 표준화된 테스트 설정을 통해 Microsoft의 Kinect(구조광선)와 Kinect One(시간간격측정) 깊이 센서를 종합적이고 실험적으로 비교한다. 깊이 정확도, 노이즈, 가림, 오류 원인 등의 성능 차이를 정량화하며, 응용 분야에 맞는 장치 선택을 안내하기 위해 실패 비율 프레임워크를 제시한다.

ABSTRACT

Recently, the new Kinect One has been issued by Microsoft, providing the next generation of real-time range sensing devices based on the Time-of-Flight (ToF) principle. As the first Kinect version was using a structured light approach, one would expect various differences in the characteristics of the range data delivered by both devices. This paper presents a detailed and in-depth comparison between both devices. In order to conduct the comparison, we propose a framework of seven different experimental setups, which is a generic basis for evaluating range cameras such as Kinect. The experiments have been designed with the goal to capture individual effects of the Kinect devices as isolatedly as possible and in a way, that they can also be adopted, in order to apply them to any other range sensing device. The overall goal of this paper is to provide a solid insight into the pros and cons of either device. Thus, scientists that are interested in using Kinect range sensing cameras in their specific application scenario can directly assess the expected, specific benefits and potential problem of either device.

연구 동기 및 목표

• 구조광선과 시간간격측정 Kinect 센서 간의 깊이 측정 성능에 대한 체계적이고 응용 분야에 관계없는 평가를 제공하기 위해.
• 노이즈, 밝기 의존성, 다중 장치 간 간섭 등의 개별 오류 원인을 두 장치 모두에서 분리하고 정량화하기 위해.
• 모든 거리 카메라에 적용 가능한 일반적인 실험 프레임워크를 개발하여 일관되고 반복 가능한 성능 기준 측정을 가능하게 하기 위해.
• 실패 비율 기반의 의사결정 지원 도구를 제공하여 연구자들이 특정 응용 시나리오에 최적의 센서를 선택할 수 있도록 돕기 위해.
• 환경적 및 기하학적 조건의 변화에 따라 깊이 정확도, 내구성, 신뢰성 간의 상호 교환 관계를 정량화함으로써 정보 기반의 장치 선택을 가능하게 하기 위해.

제안 방법

• 고립된 조건에서 깊이 측정 성능을 평가하기 위해 일곱 가지 표준화된 실험 설정을 설계하고 구현하기 위해.
• 측정된 테스트 타겟(예: 시메넨스 스타, 선형 레일, 셰이커보드)을 사용하여 다양한 각도와 거리에서 깊이 정확도, 선형성, 해상도를 측정하기 위해.
• RMSE, 표준편차(SD), 부호 오차(SE), 유효하지 않은 픽셀(IP) 비율 등의 오차 지표를 정량화하여 전경 및 배경 영역에서 측정하기 위해.
• 제어된 조명 조건, 표면 반사율, 다중 장치 간 간섭 조건 하에서 성능을 측정하고 비교하기 위해.
• 각 오류 원인에 대한 성능 비율을 계산하여 실패 비율 프레임워크를 개발함으로써 Kinect(SL)와 Kinect(ToF) 간의 상대적 비교를 가능하게 하기 위해.
• 실세계 응용 사례에 실패 비율 모델을 적용하여 실용적인 장치 선택 안내의 실현 가능성을 입증하기 위해.

실험 결과

연구 질문

• RQ1 다양한 표면 반사율과 각도에서 Kinect(SL)와 Kinect(ToF)의 깊이 정확도 및 노이즈 특성은 어떻게 비교될 수 있는가?
• RQ2 주변 조명과 표면 밝기가 각 센서 유형의 깊이 측정 신뢰성에 어떤 영향을 미치는가?
• RQ3 정적 환경에서 구조광선 센서와 시간간격측정 센서의 가림 비율은 어떻게 다를까?
• RQ4 다중 장치 간 간섭과 신호 겹침이 두 센서 유형의 깊이 정확도에 어느 정도의 영향을 미치는가?
• RQ5 고립된 오류 원인에 기반하여 어떤 거리 카메라라도 비교할 수 있는 일반적이고 반복 가능한 평가 프레임워크를 구축할 수 있는가?

주요 결과

• Kinect(ToF)는 특히 고반사율 조건에서 Kinect(SL)에 비해 훨씬 낮은 배경 노이즈(SD < 6.0 mm)를 보인다.
• 고각도, 반사성 표면 조건에서 Kinect(SL)는 최대 35.6%의 유효하지 않은 픽셀 비율을 보이며, 이와 유사한 조건에서 Kinect(ToF)는 낮은 실패 비율(IP < 10.9%)을 유지한다.
• 정적 환경에서의 가림 현상은 Kinect(SL)의 깊이 맵의 약 20%에 영향을 주지만, Kinect(ToF)는 이에 비해 오직 5%에 그친다. 이는 ToF에서 삼각측정이 존재하지 않기 때문이다.
• 고반사율, 고각도 조건에서 Kinect(SL)의 실패 비율은 0.16으로, 이는 부적합함을 시사하며, Kinect(ToF)는 실패 비율 5.45를 기록하여 이 조건에서 더 나은 선택임을 입증한다.
• 오피스 환경에서 1.2m 거리에서 얼굴 제스처 인식을 수행할 경우, 총 실패 비율은 11.68로 Kinect(ToF)가 Kinect(SL)의 비율 0.55보다 유리하다.
• 제안된 실패 비율 프레임워크는 데이터 기반의 장치 선택을 가능하게 하며, 최종 비율이 1 미만이면 Kinect(SL)를, 1 초과이면 Kinect(ToF)를 선호하는 것이 응용 맥락에 따라 유리하다.