[論文レビュー] Kinect Range Sensing: Structured-Light versus Time-of-Flight Kinect

Hamed Sarbolandi, Damien Lefloch+1 more|arXiv (Cornell University)|May 20, 2015

Advanced Optical Sensing Technologies参考文献 39被引用数 13

ひとこと要約

本論文は、7つの標準化されたテスト環境を用いて、構造光式のMicrosoft Kinect（SL）と飛行時間式のKinect One（ToF）深度センサーを包括的かつ実験的に比較した。深度精度、ノイズ、オクルージョン、誤差要因の違いを定量的に評価し、アプリケーションに応じたデバイス選定を支援するための不具合率フレームワークを提示している。

ABSTRACT

Recently, the new Kinect One has been issued by Microsoft, providing the next generation of real-time range sensing devices based on the Time-of-Flight (ToF) principle. As the first Kinect version was using a structured light approach, one would expect various differences in the characteristics of the range data delivered by both devices. This paper presents a detailed and in-depth comparison between both devices. In order to conduct the comparison, we propose a framework of seven different experimental setups, which is a generic basis for evaluating range cameras such as Kinect. The experiments have been designed with the goal to capture individual effects of the Kinect devices as isolatedly as possible and in a way, that they can also be adopted, in order to apply them to any other range sensing device. The overall goal of this paper is to provide a solid insight into the pros and cons of either device. Thus, scientists that are interested in using Kinect range sensing cameras in their specific application scenario can directly assess the expected, specific benefits and potential problem of either device.

研究の動機と目的

• 構造光式と飛行時間式のKinectセンサー間の深度センシング性能を、アプリケーションに依存しない体系的評価を提供すること。
• ノイズ、明るさ依存性、複数デバイス干渉などの個々の誤差要因を、両デバイスで分離・定量すること。
• 任意のレンジカメラに対して一貫性があり再現可能な性能ベンチマークを可能にする汎用的な実験フレームワークを構築すること。
• 不具合率に基づく意思決定支援ツールを提供し、特定のアプリケーションシナリオに最適なセンサー選定を支援すること。
• 環境的および幾何的条件下での深度精度、耐障害性、信頼性のトレードオフを定量化することで、情報に基づいたデバイス選定を可能にすること。

提案手法

• 深度センシング性能を孤立した状態で評価するための7つの標準化された実験設定を設計・実装すること。
• 校正済みのテストターゲット（例：シーメンススターや線形レール、チェッカーボード）を用いて、さまざまな角度と距離での深度精度、線形性、解像度を測定すること。
• RMSE、標準偏差（SD）、符号付き誤差（SE）、および前景・背景領域における無効ピクセル（IP）率を含む誤差指標を定量すること。
• 制御された照明条件、表面反射率、複数デバイス干渉状態での性能を測定・比較すること。
• 各誤差要因の性能比を計算することで不具合率フレームワークを構築し、Kinect（SL）とKinect（ToF）の間での相対的比較を可能にすること。
• 実世界のアプリケーション例に不具合率モデルを適用し、実用的なデバイス選定のガイダンスを示すこと。

実験結果

リサーチクエスチョン

• RQ1 異なる表面反射率および角度において、Kinect（SL）とKinect（ToF）の深度精度およびノイズ特性はどのように比較されるか？
• RQ2 環境光と表面明るさは、それぞれのセンサー種別において深度測定の信頼性にどのような影響を与えるか？
• RQ3 静的シーンにおいて、構造光式と飛行時間式センサーのオクルージョン率はどのように異なるか？
• RQ4 複数デバイス干渉および信号クロストークは、両センサー種別において深度精度にどの程度の影響を与えるか？
• RQ5 個々の誤差要因に着目した、任意のレンジカメラを一貫して比較可能な汎用的かつ再現可能な評価フレームワークを構築できるか？

主な発見

• Kinect（ToF）は、特に高反射率状況において、背景ノイズが著しく低く（SD < 6.0 mm）なっている。
• 高角度・半透過性シーンでは、Kinect（SL）の無効ピクセル率が高く（最大35.6%）、一方でKinect（ToF）は同様の条件下でも低い不具合率（IP < 10.9%）を維持している。
• 静的シーンにおけるオクルージョンは、Kinect（SL）で深度マップの約20%に影響を与えるが、Kinect（ToF）ではわずか5%にとどまる。これはToFに三角測量がないためである。
• 高反射率・高角度条件下では、Kinect（SL）の不具合率は0.16に達し、不適切であると判明した。一方、Kinect（ToF）は不具合率5.45を達成しており、より好ましい選択肢である。
• オフィス環境下、1.2 mの距離で顔のジェスチャー認識を実行した場合、全体の不具合率は11.68であり、Kinect（ToF）がKinect（SL）の0.55よりも優れている。
• 提案された不具合率フレームワークにより、データドリブンなデバイス選定が可能となり、最終的な比が1未満であればKinect（SL）が、1を超える場合はKinect（ToF）が、特定のアプリケーション文脈において好ましいと判断できる。