[論文レビュー] Find my mug: Efficient object search with a mobile robot using semantic segmentation

Daniel Wolf, Markus Bajones+2 more|arXiv (Cornell University)|Apr 23, 2014

Robotics and Sensor-Based Localization参考文献 2被引用数 3

ひとこと要約

本論文は、モバイルロボット向けに効率的な3次元セマンティックセグメンテーションフレームワークを提示する。ランダム化意思決定フォレスト（RDF）を用い、リアルタイムでの屋内シーン理解を可能にする。NYU Depthデータセット上で71.7%のクラス平均正解率と77.2%のグローバル正解率を達成し、テーブルのような可能性の高い場所を優先することで、物体検索を顕著に高速化する。

ABSTRACT

In this paper, we propose an efficient semantic segmentation framework for indoor scenes, tailored to the application on a mobile robot. Semantic segmentation can help robots to gain a reasonable understanding of their environment, but to reach this goal, the algorithms not only need to be accurate, but also fast and robust. Therefore, we developed an optimized 3D point cloud processing framework based on a Randomized Decision Forest, achieving competitive results at sufficiently high frame rates. We evaluate the capabilities of our method on the popular NYU depth dataset and our own data and demonstrate its feasibility by deploying it on a mobile service robot, for which we could optimize an object search procedure using our results.

研究の動機と目的

• モバイルサービスロボットが屋内環境でリアルタイムのセマンティックセグメンテーションを実現する課題に対処すること。
• リソース制約のあるロボットシステムに適した、高速かつ高精度なセグメンテーションフレームワークの開発。
• セマンティックラベルを活用して、物体が存在する可能性の高い場所を優先することで、知的な物体検索を可能にすること。
• 精度を損なわせることなく、高フレームレートを実現するためのセグメンテーションパイプラインの最適化。
• 実世界のモバイルロボットシナリオにおけるセマンティックセグメンテーションの実用的応用を示すこと。

提案手法

• RGB-Dデータから得られる3次元ポイントクラスタを分類するために、ランダム化意思決定フォレスト（RDF）を適用する。
• シンプルなクラスタリングによるオーバーセグメンテーションを用いて、特徴抽出のための初期のスーパーポイントを生成する。
• 各スーパーポイントから幾何的特徴および色の特徴を抽出し、RDFのトレーニングに用い、セマンティックラベル付けを行う。
• 局所的な空間的文脈を活用して予測を精緻化するために、条件付きランダムフィールド（CRF）を適用する。
• 速度と精度の両立を図るため、木の数や最大木の深さといったハイパーパrameterを最適化する。
• フレームワークをモバイルロボットにデプロイし、テーブルなどの物体が存在する可能性の高い場所を特定することで、物体検索を支援する。

実験結果

リサーチクエスチョン

• RQ1 モバイルロボットにリアルタイムでデプロイ可能な、高速かつ高精度なセマンティックセグメンテーションフレームワークを開発できるか？
• RQ2 屋内3次元シーンにおいて、RDFベースのアプローチは、従来の手法と比較して、精度および推論速度の面で優れているか？
• RQ3 セマンティックセグメンテーションは、サービスロボティクスにおける物体検索の効率をどの程度向上できるか？
• RQ4 精度と速度のトレードオフに最適なハイパーパrameter設定（例：木の数、深さ）は何か？
• RQ5 セマンティックセグメンテーションの結果は、モバイルロボット上で動的で文脈に適応した物体検索を効果的に支援できるか？

主な発見

• RDFベースのフレームワークは、NYU Depth V2データセットで71.7%のクラス平均正解率と77.2%のグローバル正解率を達成し、速度と精度のトレードオフにおいて、先行研究を上回る性能を示した。
• 8本の木と最大深さ8の設定では、標準のノートパソコン上で640×480のポイントクラウドを約1フレーム/秒で処理できる。
• テーブルを主な検索場所として特定することで、検索空間を圧縮し、物体検索の効率が顕著に向上した。
• 木の数を増やすことで正解率は8本まで向上するが、それ以上は性能が飽和する。
• 木の深さを深くすることで性能は向上するが、限られたトレーニングデータのため、さらに深い木は結果を改善しない。
• 本フレームワークは、実際のモバイルサービスロボットへのデプロイにおいて実現可能であり、文脈に適応した物体検索を可能にした。