[論文レビュー] Primitive Fitting Using Deep Boundary Aware Geometric Segmentation

Duanshun Li, Chen Feng|arXiv (Cornell University)|Oct 3, 2018

3D Surveying and Cultural Heritage参考文献 22被引用数 5

ひとこと要約

本稿では、ノイズが多く、ごみくずが散らばった点群において、境界に注意を払った幾何的セグメンテーションを用いることで、3次元の基本形状のフィッティングを向上させる深層学習フレームワーク、BAGSFitを提案する。まず、完全畳み込みネットワークを用いて点群を基本形状の仮説にセグメンテーションし、その後、幾何的検証によって精練することで、RANSACに基づく手法よりも精度と頑健性に優れ、公開されたベンチマークデータセットを用いたシミュレーテッドおよび実世界のデータセットで最先端の性能を達成した。

ABSTRACT

To identify and fit geometric primitives (e.g., planes, spheres, cylinders, cones) in a noisy point cloud is a challenging yet beneficial task for fields such as robotics and reverse engineering. As a multi-model multi-instance fitting problem, it has been tackled with different approaches including RANSAC, which however often fit inferior models in practice with noisy inputs of cluttered scenes. Inspired by the corresponding human recognition process, and benefiting from the recent advancements in image semantic segmentation using deep neural networks, we propose BAGSFit as a new framework addressing this problem. Firstly, through a fully convolutional neural network, the input point cloud is point-wisely segmented into multiple classes divided by jointly detected instance boundaries without any geometric fitting. Thus, segments can serve as primitive hypotheses with a probability estimation of associating primitive classes. Finally, all hypotheses are sent through a geometric verification to correct any misclassification by fitting primitives respectively. We performed training using simulated range images and tested it with both simulated and real-world point clouds. Quantitative and qualitative experiments demonstrated the superiority of BAGSFit.

研究の動機と目的

• ロボット工学やリバースエンジニアリングで一般的に見られるノイズが多く、ごみくずが散らばった3次元点群において、複数の幾何的プリミティブ（平面、球面、円柱、円錐）を頑健にフィッティングする課題に対処すること。
• 複雑なシーンにおけるノイズや重複するインスタンスの影響により、RANSACに基づく手法がしばしば劣悪なフィッティングを生じるという限界を克服すること。
• 幾何的構造の定性的な特徴を事前に活用することで、人間の知覚に類似した深層学習フレームワークを構築すること。
• 3次元基本形状セグメンテーションおよびフィッティングのためのトレーニングとベンチマークに適した、大規模なシミュレーテッドデータセットを構築し、公開すること。
• 統合的セグメンテーションと境界検出が、誤分類や偽陽性の削減により、フィッティング精度の向上に寄与することを示すこと。

提案手法

• 合成シーン生成から得られる真値ラベルを用いて、シミュレーテッドレンジ画像上で、完全畳み込みニューラルネットワークをトレーニングし、点毎のセマンティックセグメンテーション（平面、球面、円柱、円錐、背景）を実行する。
• 重ね合わさったまたは隣接するプリミティブのより正確なセグメンテーションを可能にするために、インスタンス境界を同時に予測する境界に注意を払った監視をネットワークに組み込む。
• セグメンテーションの出力を幾何的仮説として用い、各点が特定のプリミティブクラスに属する確率が割り当てられる。
• 幾何的検証ステップでは、各仮説領域に対して効率的なRANSACを適用し、誤分類されたセグメントを修正する。
• 入力特徴として法線マップと位置情報が使用され、異なる入力組み合わせと損失関数（多項式 vs. 多ビノーマル）の比較をアブレーションスタディで行う。
• 1つのネットワークがセグメンテーションと境界検出の両方を実行し、別々の推論段階を経ないため、効率性と一貫性が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づく3次元レンジ画像のセマンティックセグメンテーションは、従来のRANSACと比較して、複数のモデル・複数のインスタンスを持つプリミティブのフィッティング精度と頑健性を向上させることができるか？
• RQ2 セグメンテーションネットワークに境界に注意を払った監視を組み込むことで、ごみくずの多いシーンにおけるプリミティブインスタンスの分離が向上し、誤分類が減少するか？
• RQ3 シミュレーテッドデータでトレーニングしたモデルは、ドメイン適応なしで実世界の点群に効果的に一般化できるか？
• RQ4 位置情報、法線情報、または両方を入力特徴として用いる場合、セグメンテーションおよびその後のフィッティング性能にどのような影響を与えるか？
• RQ5 トレーニング時に背景点を除外することで、シーンの複雑さが低下し、最終的なプリミティブフィッティング精度が向上するか？

主な発見

• BAGSFitは、シミュレーテッドテストセットにおいて平均PAP（属性別精度）スコア0.513を達成し、ERANSACベースラインを顕著に上回った。
• N5+BAGSバージョン（トレーニング時に背景クラスを除外）は、平均フィッティング誤差1.289 mmを記録し、背景抑制がフィッティング精度の向上に寄与することを示した。
• 境界に注意を払った監視（BAGS）を追加することで、ベースラインの境界検出（BO）と比較して境界リコールが向上したが、セグメンテーション性能への悪影響は最小限に抑えられた。
• 法線マップのみを入力として用いることで、位置情報と法線情報を併用した場合よりも優れた性能を示した。これは、深層ネットワークへの位置情報の正規化が困難であるためと推定される。
• 多項式損失関数は、多ビノーマル損失関数よりも優れたセグメンテーション性能を示し、標準的な交差エントロピーによるクラス分離性の向上が示唆された。
• MaskRCNNベースのオブジェクト検出は、プリミティブフィッティングタスクで26.0%のmAPにとどまり、形状の多様性やアスペクト比の歪みのため、標準的なインスタンスセグメンテーションモデルは幾何的プリミティブには不適切であることが示された。