[論文レビュー] Contextually Guided Semantic Labeling and Search for 3D Point Clouds

Abhishek Anand, Hema Swetha Koppula+2 more|arXiv (Cornell University)|Nov 22, 2011

Robotics and Sensor-Based Localization参考文献 48被引用数 58

ひとこと要約

本論文は、視覚的、形状的、幾何的関係を統合する構造的グラフィカルモデルを用いて、3次元点群における文脈的にガイドされた意味的ラベリングおよび検索フレームワークを提案する。この手法は、オフィスシーンでは84.06%、ホームシーンでは73.38%のラベリング精度を達成し、学習されたシーン意味に基づく文脈に配慮したナビゲーション戦略を用いて、移動型ロボットが12種類のオブジェクトクラスを97.56%の精度と78.43%の再現率で特定することを可能にする。

ABSTRACT

RGB-D cameras, which give an RGB image to- gether with depths, are becoming increasingly popular for robotic perception. In this paper, we address the task of detecting commonly found objects in the 3D point cloud of indoor scenes obtained from such cameras. Our method uses a graphical model that captures various features and contextual relations, including the local visual appearance and shape cues, object co-occurence relationships and geometric relationships. With a large number of object classes and relations, the model's parsimony becomes important and we address that by using multiple types of edge potentials. We train the model using a maximum-margin learning approach. In our experiments over a total of 52 3D scenes of homes and offices (composed from about 550 views), we get a performance of 84.06% and 73.38% in labeling office and home scenes respectively for 17 object classes each. We also present a method for a robot to search for an object using the learned model and the contextual information available from the current labelings of the scene. We applied this algorithm successfully on a mobile robot for the task of finding 12 object classes in 10 different offices and achieved a precision of 97.56% with 78.43% recall.

研究の動機と目的

• 2次元画像ベースの手法を超えて、フルシーンの点群を活用した意味的ラベリングによる3次元シーン理解の向上を目的とする。
• 幾何的、共起的、視覚的関係を含む豊かな文脈的関係を、構造的グラフィカルモデル内でモデル化し、ラベリング精度の向上を図る。
• 移動型ロボットが物体の可能性の高い位置を予測し、効率的にナビゲートできる文脈的にガイドされた探索アルゴリズムの開発を目的とする。
• 複雑な屋内環境において、実世界のロボットプラットフォームを用いて、高い精度と頑健性を有する評価を実施することを目的とする。

提案手法

• 構造的条件付きランダムフィールド（SCRF）は、視覚的類似性、同一平面性、近接性、オブジェクトの共起性といった複数の種類のエッジポテンシャルを用いて、3次元セグメント間の対間関係をモデル化する。
• 最大マージン学習を用い、すべてのパラメータを同時に最適化することで、一般化性能を向上させるための訓練損失の上界を最小化する。
• クリークポテンシャルは特化されている：結合的ポテンシャルはラベルの類似性をモデル化し、非結合的ポテンシャルは「上にのっている」や「前側にいる」などの幾何的関係をエンコードする。
• 効率的なアルゴリズム（例：Rother et al., 2007）を用いた近似的推論により、1シーンあたり約50セグメントの大きなシーンにもスケーラブルに適用する。
• ロボット探索のため、現在のラベリングに基づいて3次元のオブジェクトの可能性マップ（ヒートマップ）を計算し、文脈的に確率の高い場所へ向かってロボットの移動を誘導する。
• ロボットは、予測された高確率ゾーンを基に、複数回のスキャンと再配置を繰り返すことで、隠蔽されたり小さな物体の検出を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的、形状的、幾何的文脈を統合する構造的グラフィカルモデルは、3次元点群における意味的ラベリング精度を向上させることができるか？
• RQ2 高次元ラベル空間において、オブジェクトの共起性や空間的配置といった文脈的関係を効率的にモデル化する方法は何か？
• RQ3 文脈に配慮したオブジェクト探索は、複雑な屋内環境における物体探索に必要なロボットの移動回数を削減できるか？
• RQ4 文脈に基づくナビゲーションによって、小さな物体や隠蔽された物体の検出がどの程度向上するか？

主な発見

• 本手法は、52のオフィスシーンと52のホームシーン（各17種類のオブジェクトクラス）で、それぞれ84.06%および73.38%のラベリング精度を達成した。
• ロボット実験では、10のオフィスシーンで12種類のオブジェクトクラスを検索した際、97.56%の精度と78.43%の再現率を達成した。
• 隠蔽されたキーボードに関しては、予測位置と実際の位置との平均距離が17.5 cm（平均）であり、中央点予測の32.6 cmのベースラインよりも顕著に優れていた。
• キーボードの位置特定における中央誤差は、ベースラインの27.2 cmから、文脈に配慮した予測を用いることで15.9 cmに低減された。
• 定性的な結果では、モニタ（テーブル上）、キーボード（モニタの前）、引き出し（テーブルの下）といった物体の可能性の高い場所を正しく予測している。
• 部分的観測に頑健であることを示すために、最初は遮蔽や点群密度が低いため検出できなかったオブジェクトを、本システムが正常に特定した。