[論文レビュー] OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point Clouds

Ziyang Song, Bo Yang|arXiv (Cornell University)|Oct 10, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

本論文は、人為的アノテーションが一切不要な、1枚の点群フレームから複数のオブジェクトを同時にセグメンテーションする、初めての教師なし3次元マルチオブジェクトセグメンテーション手法OGCを提案する。本手法は、連続する点群における剛体運動のダイナミクスを自己教師信号として活用し、新規の幾何的一致損失を用いることで、5つのデータセット（屋外環境を含む）で最先端の性能を達成した。

ABSTRACT

In this paper, we study the problem of 3D object segmentation from raw point clouds. Unlike all existing methods which usually require a large amount of human annotations for full supervision, we propose the first unsupervised method, called OGC, to simultaneously identify multiple 3D objects in a single forward pass, without needing any type of human annotations. The key to our approach is to fully leverage the dynamic motion patterns over sequential point clouds as supervision signals to automatically discover rigid objects. Our method consists of three major components, 1) the object segmentation network to directly estimate multi-object masks from a single point cloud frame, 2) the auxiliary self-supervised scene flow estimator, and 3) our core object geometry consistency component. By carefully designing a series of loss functions, we effectively take into account the multi-object rigid consistency and the object shape invariance in both temporal and spatial scales. This allows our method to truly discover the object geometry even in the absence of annotations. We extensively evaluate our method on five datasets, demonstrating the superior performance for object part instance segmentation and general object segmentation in both indoor and the challenging outdoor scenarios.

研究の動機と目的

• 人為的アノテーションによる3次元オブジェクトセグメンテーションの高コストを解消するため、いかなる監督信号も不要とする。
• 連続的な入力や運動クラスタリングを必要とせず、1枚の点群フレームから複数の3次元オブジェクトを同時にセグメンテーションすることを可能とする。
• 連続する点群に内在する剛体運動パターンを、オブジェクト発見の自己教師信号として活用する。
• 剛体運動の一貫性と形状不変性を制約する幾何的一致損失を設計する。
• アノテーションデータに依存せずに、屋内および屋外環境の両方へ一般化できることを示すこと。

提案手法

• 本手法は、1枚の点群フレームから各点のマスクを予測するセグメンテーションネットワークを用いる。
• 補助的な自己教師信号としてのシーンフロー推定器が、2つの連続する点群間の各点の運動ベクトルを予測する。
• コアとなるコンponentとして、3つの損失関数を導入する：マルチオブジェクト動的剛体一貫性、オブジェクト形状の滑らかさ、剛体変換下での形状不変性。
• 剛体一貫性損失は、各予測マスクがフレーム間で剛体変換可能であることを保証し、運動ベクトルと一致させる。
• 滑らかさ損失は、オブジェクトマスクが空間的に一貫しており、破片化していないことを正則化する。
• 不変性損失は、同じオブジェクトが補正された剛体変換下でも一貫してセグメンテーションされることを保証し、幾何学的学習の耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 連続する点群における剛体運動ダイナミクスは、教師なし3次元マルチオブジェクトセグメンテーションの信頼できる自己教師信号として機能するか？
• RQ2 時間的ダイナミクスを活用することで、アノテーションなしに1フレーム分のセグメンテーションネットワークを有効に訓練できるか？
• RQ3 監視なし状況下で、幾何的一致性と形状不変性をどのように強制することでマスク品質を向上させられるか？
• RQ4 本手法は、多様なオブジェクトタイプや運動パターンを有する屋内および屋外シーンへ一般化可能か？
• RQ5 提案手法は、従来のクラスタリング法や最適化ベースのベースラインを上回る性能を示せるか？

主な発見

• OGCは、SAPIEN、OGC-DR、OGC-DRSV、KITTI-SF、KITTI-Detの5つのデータセットで、人為的アノテーションなしに最先端の性能を達成した。
• KITTI-SFデータセットでは、mIoUが63.7%、RIが93.6%を達成し、最適化ベースのベースラインおよび運動クラスタリング手法を上回った。
• アブレーションスタディの結果、標準的な滑らかさ損失 $l_{smooth}$ が、運動類似度重み付きバージョン $l_{smooth}^{ ext{prime}}$ よりも優れていることが示され、シーンフローのノイズに対して頑健であることが裏付けられた。
• 10%ラベル付きKITTI-Detデータ上で事前学習として用いた場合、APは71.5に向上したが、完全に教師ありで訓練した場合に比べて依然として性能が劣った。
• 定性的な結果から、道路に沿った静止車両のセグメンテーションに成功し、形状不変性損失が類似だが動かないオブジェクトへ一般化する有効性を示した。
• 非剛体オブジェクトのセグメンテーションや、未学習のオブジェクトタイプの発見には失敗した。これは、剛体運動仮定に依存しているためである。