[論文レビュー] The role of RGB-D benchmark datasets: an overview

Kai Berger|arXiv (Cornell University)|Oct 8, 2013

Robotics and Sensor-Based Localization参考文献 36被引用数 8

ひとこと要約

本論文は、マイクロソフト・キネクトおよび類似センサーから得られた公開可能なRGB-Dベンチマークデータセットについて包括的なレビューを提供し、SLAM、物体認識、モーショントラッキングなどのコンピュータビジョン応用分野におけるその有用性を評価している。現在のデータセットにおける欠落要因として、同期された赤外線（IR）データや高精度の真値（ground truth）の不足を指摘しつつ、アルゴリズムの評価と再現性を向上させるために、標準化されたマルチセンサー型データセットの構築を提言している。

ABSTRACT

The advent of the Microsoft Kinect three years ago stimulated not only the computer vision community for new algorithms and setups to tackle well-known problems in the community but also sparked the launch of several new benchmark datasets to which future algorithms can be compared 019 to. This review of the literature and industry developments concludes that the current RGB-D benchmark datasets can be useful to determine the accuracy of a variety of applications of a single or multiple RGB-D sensors.

研究の動機と目的

• コンピュータビジョン研究を対象とする、公開済みのRGB-Dベンチマークデータセットを調査・分類すること。
• データモダリティ、アノテーション品質、アクセス可能性の観点から、現在のベンチマークデータセットの状態を評価すること。
• 特に赤外線（IR）データや高精度の真値が不足している、未代表化されたセンサーモダリティを同定すること。
• より正確で再現性のあるアルゴリズム評価を支援するため、今後のベンチマークデータセットにおける改善策を提言すること。
• RGB-D応用分野における、強固で比較可能かつ拡張可能な評価フレームワークの構築を支援すること。

提案手法

• キネクト発売後（2010年以降）に公開されたRGB-Dデータセットについて、体系的な文献調査および産業調査を実施。
• 応用分野別（SLAM、物体認識、モーショントラッキング、顔・手の認識、歩行者検出）にデータセットを分類。
• センサータイプ（例：キネクト、Xtion）、加速度計データの使用有無、アノテーションタイプ、真値の有無といった主な基準に基づき、データセットを評価。
• データセットメタデータを比較表（表1）にまとめ、データセットサイズと引用数の影響（図2）を分析。
• 同期された赤外線（IR）データの欠如や、レーザースキャンやステレオキャリブレーションによる高解像度真値の欠落といった、データセットの制限要因を批判的に評価。
• データセット内容、センサーアーキテクチャ、応用範囲の分析を通じて、研究上のギャップを同定。

実験結果

リサーチクエスチョン

• RQ1 キネクトベースのコンピュータビジョン用途に用いられる、公開済みのRGB-Dベンチマークデータセットの主な特徴と相違点は何か？
• RQ2 現在のRGB-Dデータセットは、SLAM、物体認識、モーショントラッキング分野におけるアルゴリズムの正確な評価をどの程度可能としているか？
• RQ3 現在のRGB-Dベンチマークから欠落している重要なデータモダリティ（例：赤外線（IR）ストリーム、高精度の真値）は何か？
• RQ4 データセットのサイズ、アノテーション品質、アクセス可能性は、アルゴリズム比較や再現性にどのように影響を及ぼすか？
• RQ5 今後の研究におけるRGB-Dベンチマーク分野の最先端を進めるために、どのような改善が必要か？

主な発見

• Silbermanら[28]のデータセットは1,449組のラベル付きRGB-深度画像ペアを含み、画像数の点で最大であり、MATLABツールボックスの完全なサポートを備えている。
• Barbosaら[5]は、79名の被験者が静止ポーズと動的運動を含む状態で撮影されたユニークなデータセットを提供しており、詳細な3次元メッシュとスケルトンフィットが含まれる。
• Luberら[22]は、複数の角度から歩行・立ち位置の人物を3台のキネクトで撮影した歩行者データセットを提供しており、遮蔽状況も含む。
• Huynhら[13]は、9種類の条件下（プロファイルビュー、照明変化など）で撮影された52名分の顔データセットを提供しており、手動でアノテートされたランドマークが付与されている。
• Sungら[39]は、4名の被験者が高レベルの行動（例：手を伸ばす、置く）を実行する際の深度マップとスケルトンを提供しており、細分化された行動ラベルが付与されている。
• 膨大なデータセット開発が進んでも、現在のところ、高解像度の真値（例：レーザースキャンやステレオキャリブレーション）と同期された赤外線（IR）データを併せ持つデータセットは存在しない。