[論文レビュー] Point Cloud Instance Segmentation using Probabilistic Embeddings

Biao Zhang, Peter Wonka|arXiv (Cornell University)|Nov 30, 2019

3D Shape Modeling and Analysis参考文献 40被引用数 12

ひとこと要約

本論文は、点群インスタンスセグメンテーションのための新規な確率的埋め込みフレームワークを提案する。各点を不確実性をモデル化できる3変量正規分布として表現することで、不確実性を扱う。中心に注意を向けるクラスタリング損失を導入し、軸および点に依存する不確実性を活用することで、PartNetデータセット上で平均カテゴリごとのmAPが3.1%絶対的に向上し、細粒度インスタンスセグメンテーション分野で新たなSOTAを樹立した。

ABSTRACT

In this paper we propose a new framework for point cloud instance segmentation. Our framework has two steps: an embedding step and a clustering step. In the embedding step, our main contribution is to propose a probabilistic embedding space for point cloud embedding. Specifically, each point is represented as a tri-variate normal distribution. In the clustering step, we propose a novel loss function, which benefits both the semantic segmentation and the clustering. Our experimental results show important improvements to the SOTA, i.e., 3.1% increased average per-category mAP on the PartNet dataset.

研究の動機と目的

• 3次元点群におけるインスタンスセグメンテーションの研究が限定的であることに鑑み、特に細粒度部品レベルのセグメンテーションに焦点を当てる。
• 点埋め込みにおける不確実性をモデル化することで、決定論的表現を超えて分類精度を向上させる。
• セマンティックセグメンテーションとインスタンスクラスタリングの両方の性能を向上させるクラスタリング損失を設計する。
• 確率的埋め込みが3次元インスタンスセグメンテーションにおいて、高次元の決定論的埋め込みを上回ることを示す。

提案手法

• 各点が3変量正規分布（平均ベクトルと共分散行列）として埋め込まれ、点および軸に依存する不確実性のモデル化が可能になる。
• 埋め込み空間では、非等方的かつ非定常なガウス分布を用いることで、方向に依存する不確実性を捉え、物体境界でのロバストネスを向上させる。
• クラスタリングを促進するための新規なセンターに注意を向ける損失関数を導入し、埋め込みがインスタンスの中心に集まるよう誘導するとともに、セマンティックの一貫性を維持する。
• 既存の埋め込みベースのインスタンスセグメンテーションパイプラインに確率的埋め込みを統合し、PointNet++などの標準的なバックボーンと互換性を保つ。
• 埋め込み間の類似度は、平均と共分散の両方を考慮する確率的カーネルを用いて計算され、重複するインスタンスの分離性が向上する。
• セマンティック交差エントロピーと提案されたクラスタリング損失を組み合わせた総合損失を、エンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 点群埋め込みにおける不確実性のモデル化は、インスタンスセグメンテーションの性能向上に寄与するか？
• RQ2 軸および点に依存する不確実性を伴う確率的埋め込み空間は、決定論的3次元または6次元埋め込みを上回るか？
• RQ3 センターに注意を向けるクラスタリング損失は、標準的なMSEベースの損失と比較して、ロバストネスおよび精度に優れているか？
• RQ4 確率的埋め込みは、高密度なインスタンスを有する細粒度カテゴリに一般化可能か？

主な発見

• 提案手法は、PartNetデータセット上で平均カテゴリごとのmAPが3.1%絶対的に向上し、新たなSOTAを樹立した。
• 非等方的かつ非定常な確率的埋め込みバリアントは、6D決定論的埋め込みを含むすべてのベースラインを大きく上回った。
• 学習された不確実性は物体境界で最も高くなり、モデルが幾何学的曖昧性を効果的に捉えていることを示している。
• センターに注意を向ける損失は、大規模な細粒度カテゴリで5.2%の性能向上をもたらし、分散を低減することで優れた安定性を示した。
• 定性的な結果から、確率的埋め込みはより強い幾何的変形を生成し、インスタンスクラスタの分離性が向上していることが示された。
• 完全なモデルはAllAvgスプリットで57.5%のmAPを達成し、前回のSOTAから2.5%向上し、最も挑戦的な細粒度カテゴリサブセットでは10.7%の向上を記録した。