[論文レビュー] Visualization and Labeling of Point Clouds in Virtual Reality

Jonathan Dyssel Stets, Yongbin Sun+2 more|DSpace@MIT (Massachusetts Institute of Technology)|Apr 11, 2018

Computer Graphics and Visualization Techniques被引用数 12

ひとこと要約

本論文では、触覚フィードバックを備えたハンドヘルドコントローラーを用いて、動的ポイントクラウドシーケンスの直感的で3次元認識型ラベリングを実現するVRベースのシステムを提示する。ICPおよびカラーオーバレイ付きICPアルゴリズムによるリアルタイムのトラッキングを組み合わせることで、移動する物体のフレーム間ラベリングが効率的に行えるようになり、ジャイリングピンのデータを用いた実証により、2Dインターフェースに比べてラベリング速度と正確性が顕著に向上した。

ABSTRACT

We present a Virtual Reality (VR) application for labeling and handling point cloud data sets. A series of room-scale point clouds are recorded as a video sequence using a Microsoft Kinect. The data can be played and paused, and frames can be skipped just like in a video player. The user can walk around and inspect the data while it is playing or paused. Using the tracked hand-held controller, the user can select and label individual parts of the point cloud. The points are highlighted with a color when they are labeled. With a tracking algorithm, the labeled points can be tracked from frame to frame to ease the labeling process. Our sample data is an RGB point cloud recording of two people juggling with pins. Here, the user can select and label, for example, the juggler pins as shown in Figure 1. Each juggler pin is labeled with various colors to indicate di erent labels.

研究の動機と目的

• 複雑な3次元ポイントクラウドデータのラベリングにおいて、特に直交平面で分離できない物体に対して2Dインターフェースの非効率性を是正すること。
• バーチャルリアリティ内で直感的で没入型の点検およびラベリングを可能にし、スケールの大きなアニメーションポイントクラウドシーケンスを対象とすること。
• フレーム間の自動トラッキングを導入することで、動的ポイントクラウドデータにおける手作業ラベリング作業を削減すること。
• 人間の動きと物体を含む現実世界の動的シーンに対する高精度なラベリングをVRを用いて実現可能であることを実証すること。
• ロボット工学、自律システム、3次元コンテンツ制作の今後の応用を支援するため、改善されたラベル付きポイントクラウドデータセットを提供すること。

提案手法

• システムは、Microsoft Kinect 2を用いて約30 fpsでRGB-Dデータを取得し、それを (X,Y,Z,R,G,B) 形式のポイントクラウドに変換し、バイナリ形式で保存する。
• HTC Viveを用いて構築されたVRアプリケーションにより、トラッキングされたヘッドセットおよびハンドヘルドコントローラーを用いて、スケールの大きなバーチャル空間での可視化とインタラクションが可能となる。
• ユーザーはコントローラーのペイントブラシに類似したツールでポイントをラベル付けし、選択の確認として触覚フィードバックが提供される。
• ラベルは色分けされており、コントローラーのタッチパッドを用いて順番に切り替えたり、消去したりできる。
• 反復的最近接点（ICP）アルゴリズムにより、フレーム i からフレーム i+1 へのラベル付きポイントのトラッキングが行われ、最適な回転と平行移動が推定される。
• カラーデータを統合したICPの変種は、k-dツリーを用いた効率的な最近傍探索により、空間的近接性と色の類似性に基づいて一致点を選択することで、トラッキングの精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 没入型VRインタラクションは、従来の2Dインターフェースと比較して、複雑な3次元ポイントクラウドシーケンスのラベリング効率と正確性を向上させることができるか？
• RQ2 フレーム間の自動トラッキングは、動的ポイントクラウドデータにおける手作業ラベリング作業をどの程度削減できるか？
• RQ3 ICPアルゴリズムに色情報を取り入れることで、ポイントクラウドシーケンスにおけるトラッキングのロバスト性と正確性がどの程度向上するか？
• RQ4 VRベースのラベリングシステムは、人間と物体の相互作用のような大規模でアニメーション化された3次元シーンのスケーラブルでインタラクティブな編集を可能にするか？
• RQ5 触覚フィードバックおよび3次元ジェスチャーによる選択は、3次元データラベリングワークフローにおいて実用的な利点をもたらすか？

主な発見

• VRベースのラベリングシステムは、従来の2Dインターフェースに比べ、特に複雑な空間的配置において、3次元ポイントクラウドシーケンスのラベリングがより高速かつ直感的に行える。
• ICPに基づくトラッキングの使用により、1フレームから次のフレームへラベルを一貫して伝搬させることで、手作業ラベリング作業が顕著に削減された。
• カラーデータを統合したICPの変種は、幾何学的および色相的類似性を活用することで、対応ポイントにおけるトラッキングの正確性を向上させた。
• 選択時の触覚フィードバックは、ユーザーのインタラクション認識を高め、ラベリング作業における自信と正確性を向上させた。
• 本システムは、ジャイリングピンのような複数の明確に区別できる物体を、1フレームあたりのユーザー入力が最小限で複数フレームにわたっても正確にラベリングおよびトラッキングすることができた。
• 本手法はKinectデータに限らず、スケール・解像度・データソースが異なるポイントクラウドに対しても汎用的に適用可能である。