[論文レビュー] Semantic 3D Occupancy Mapping through Efficient High Order CRFs

Shichao Yang, Yulan Huang+1 more|arXiv (Cornell University)|Jul 24, 2017

Robotics and Sensor-Based Localization参考文献 19被引用数 5

ひとこと要約

本論文は、大規模環境向けにスクリーニングされた占有グリッドを用いた、近似リアルタイムでインクリメンタルな意味的3次元占有マップ作成システムを提示する。2次元の畳み込みニューラルネットワーク（CNN）ベースの意味セグメンテーションを事前入力として活用し、スーパーピクセルに基づく$P^N$ポッティス項を有する新しい階層的高次確率的フィールド（CRF）を適用。効率的なフィルタベース平均場推論により最適化され、KITTIデータセットにおいて最先端手法比で10%の精度向上を達成した。

ABSTRACT

Semantic 3D mapping can be used for many applications such as robot navigation and virtual interaction. In recent years, there has been great progress in semantic segmentation and geometric 3D mapping. However, it is still challenging to combine these two tasks for accurate and large-scale semantic mapping from images. In the paper, we propose an incremental and (near) real-time semantic mapping system. A 3D scrolling occupancy grid map is built to represent the world, which is memory and computationally efficient and bounded for large scale environments. We utilize the CNN segmentation as prior prediction and further optimize 3D grid labels through a novel CRF model. Superpixels are utilized to enforce smoothness and form robust P N high order potential. An efficient mean field inference is developed for the graph optimization. We evaluate our system on the KITTI dataset and improve the segmentation accuracy by 10% over existing systems.

研究の動機と目的

• ロボットのナビゲーションやバーチャルインタラクションなどの応用を想定し、リアルタイムで大規模な意味的3次元マッピングを可能にすること。
• 計算リソースが限られた環境で、2次元の意味セグメンテーションと3次元幾何再構成を段階的に統合する課題に対処すること。
• 高次CRFの項を用いて空間的一致性を強制することで、3次元セグメンテーションの精度を向上させること。
• 大規模環境にスケーリング可能でありながら性能を損なわずに、高次CRFの効率的推論手法を開発すること。
• KITTIベンチマークを用いた実世界のステレオシーケンスを用いて、本システムの有効性を実証すること。

提案手法

• 大規模環境におけるメモリおよび計算リソースの制限を満たすために、3次元スクリーニング占有グリッドマップを構築する。
• 事前に訓練されたCNNを用いて、2次元ピクセル単位の意味ラベル分布を3次元グリッドセルの単一項ポテンシャルとして生成する。
• スーパーピクセルが高次クライークを形成する階層的CRFモデルを適用し、滑らかさと領域的一致性を強制する。
• スーパーピクセル領域内でのラベルの一貫性を促進するため、頑健な$P^N$ポッティスモデルを高次ポテンシャルとして実装する。
• 高次CRFを等価な2次元モデルに変換するフィルタベース平均場推論アルゴリズムを開発し、効率的な最適化を実現する。
• フレームを段階的に処理し、影響を受けるグリッド領域のみを更新することで、リアルタイム性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 スーパーピクセルに基づくクライークを有する高次CRFは、2次元または密なCRFモデルと比較して、3次元意味ラベル付けの精度を向上させることができるか？
• RQ2 階層的CRFを用いたCPUベースの推論によって、大規模な3次元意味マッピングで近似リアルタイムの性能を達成するのは可能か？
• RQ3 提案されたフィルタベース平均場推論は、従来のCRF推論手法と比較して、効率性および精度の面で優れているか？
• RQ4 スクリーニングされた占有グリッドの使用は、大規模環境におけるメモリおよび計算のスケーラビリティをどの程度向上させるか？
• RQ5 CNNの事前情報と高次CRF最適化の統合は、実世界のベンチマークで既存の最先端手法を顕著に上回る性能を達成できるか？

主な発見

• 提案システムは、KITTIデータセットにおいて、既存の最先端手法比で10%のmIoU（平均交差率）向上を達成した。
• 頑健な$P^N$ポッティス項を有する階層的CRFは、評価されたすべてのモデルの中で最高のmIoU（70.3%）とグローバル精度（90.6%）を達成した。
• デスクトップCPU上で階層的CRF最適化を約2Hzで実行可能であり、4フレームに1回の処理にすることでリアルタイムレートに到達可能である。
• 4フレームに1回の処理にすることで、グローバル精度は0.4ポイント（95.7%から95.3%）低下し、mIoUは1.3ポイント（87.6%から86.3%）低下するが、性能低下は最小限に抑えられた。
• 時間解析の結果、高次項を含むCRF最適化には1フレームあたり0.53秒、高次項なしのベースラインでは0.38秒を要しており、提案推論手法の効率性が裏付けられた。
• 可視化結果から、複雑なシーン、特にオクルージョンや空・看板など難しい領域を効果的に処理でき、意味的一致性が著しく向上していることが確認された。