[論文レビュー] Associatively Segmenting Instances and Semantics in Point Clouds

Xinlong Wang, Shu Liu+3 more|arXiv (Cornell University)|Feb 26, 2019

3D Shape Modeling and Analysis参考文献 35被引用数 34

ひとこと要約

ASISは、3D点群に対してインスタンス分割とセマンティック分割を同時に行うエンドツーエンドのフレームワークを提案し、セマンティクスを意識したインスタンス埋め込みとインスタンス結合セマンティック特徴を用いて、両タスクを相互に改善します。

ABSTRACT

A 3D point cloud describes the real scene precisely and intuitively.To date how to segment diversified elements in such an informative 3D scene is rarely discussed. In this paper, we first introduce a simple and flexible framework to segment instances and semantics in point clouds simultaneously. Then, we propose two approaches which make the two tasks take advantage of each other, leading to a win-win situation. Specifically, we make instance segmentation benefit from semantic segmentation through learning semantic-aware point-level instance embedding. Meanwhile, semantic features of the points belonging to the same instance are fused together to make more accurate per-point semantic predictions. Our method largely outperforms the state-of-the-art method in 3D instance segmentation along with a significant improvement in 3D semantic segmentation. Code has been made available at: https://github.com/WXinlong/ASIS.

研究の動機と目的

• 3D点群におけるインスタンス分割とセマンティック分割の共同扱いの欠如を動機づけ、解決する。
• 点ごとのセマンティック予測と点レベルのインスタンス埋め込みを同時に学習するシンプルなベースラインを提案する。
• セマンティクスを意識したインスタンス埋め込みとインスタンス結合セマンティック分割を可能にするASISを導入する。
• 複数のバックボーン（PointNetおよびPointNet++）でS3DISおよびShapeNetデータセットにおいて性能向上を示す。

提案手法

• 点ごとのセマンティック予測と点ごとのインスタンス埋め込みのための2つの平行デコーダを備えた単純な共有エンコーダ。
• クラス非依存な識別的インスタンス損失（var、dist、reg）を用いて同一インスタンス内の埋め込みをまとめ、異なるインスタンスを引き離す。
• ASISによる相互支援：セマンティック特徴をインスタンス特徴空間に写像してセマンティクス認識インスタンス特徴（SA）を生成し、インスタンス分割を助ける。
• Instance-fused semantic segmentation (IF) はインスタンス埋め込み空間でkNNを用いて同じインスタンス内の近傍点からセマンティック特徴を集約し、点ごとのセマンティクスを洗練する。
• セマンティクス志向のインスタンス系とインスタンス結合セマンティック分岐をエンドツーエンドで学習させ、セマンティックとインスタンスの分割性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3D点群におけるインスタンス分割とセマンティック分割の共同学習はどのように実現できるか？
• RQ2 共有フレームワークでセマンティック特徴はインスタンス埋め込みを向上させ得るか、またその逆も？
• RQ3 セマンティクス志向の埋め込みとインスタンス結合はS3DISやShapeNetの指標で点ごとのセマンティクスとインスタンスの境界の両方を改善するか？
• RQ4 ASISフレームワークは異なるバックボーン（例：PointNet、PointNet++）と適合するか？
• RQ5 セマンティクス意識とインスタンス結合が全体的な性能向上にどう寄与するか？

主な発見

• ASISはS3DISにおいて、単純なベースラインよりも3Dインスタンス分割とセマンティック分割の性能を一貫して改善する。
• セマンティクス意識（SA）とインスタンス結合（IF）は補完的な利得をもたらし、組み合わせるとより大きな改善が得られる。
• ASISはインスタンス分割の平均加重カバレッジ（mWCov）と平均精度（mPrec）、およびセマンティック分割のmIoUとmAccで顕著な向上をもたらす。
• フレームワークはPointNetおよびPointNet++のバックボーンと適合し、アーキテクチャ間で堅牢な改善を示す。
• ASISはSGPNなどの一部の従来手法よりも高速なグルーピングベース推論を実現しつつ、競争力のあるまたは優れた精度を提供する。
• ShapeNetでは、ASISは部品セマンティクスの分割にも利益を示し、3Dシーン理解の核を超えた一般性を示唆する。