[論文レビュー] Points2Vec: Unsupervised Object-level Feature Learning from Point Clouds

Joël Bachmann, Kenneth Blomqvist+2 more|arXiv (Cornell University)|Feb 8, 2021

3D Shape Modeling and Analysis参考文献 2被引用数 5

ひとこと要約

Points2Vec は、屋内シーン内の文脈的関係を活用することで、3D ポイントクラウドから教師なしで意味的オブジェクトレベルの特徴表現を学ぶ手法を提案する。PointNet をベースとしたオートエンコーダに、シーンの文脈を組み込んだコントラスト型損失を適用することで、低次元で意味的な特徴表現を学習し、ベースラインのオートエンコーダーよりもクラスタリングと再構成性能が向上し、テストデータではチェンファーディスタンスが 8% 低減した。

ABSTRACT

Unsupervised representation learning techniques, such as learning word embeddings, have had a significant impact on the field of natural language processing. Similar representation learning techniques have not yet become commonplace in the context of 3D vision. This, despite the fact that the physical 3D spaces have a similar semantic structure to bodies of text: words are surrounded by words that are semantically related, just like objects are surrounded by other objects that are similar in concept and usage. In this work, we exploit this structure in learning semantically meaningful low dimensional vector representations of objects. We learn these vector representations by mining a dataset of scanned 3D spaces using an unsupervised algorithm. We represent objects as point clouds, a flexible and general representation for 3D data, which we encode into a vector representation. We show that using our method to include context increases the ability of a clustering algorithm to distinguish different semantic classes from each other. Furthermore, we show that our algorithm produces continuous and meaningful object embeddings through interpolation experiments.

研究の動機と目的

• 3D ポイントクラウドから教師なしで意味的かつ低次元のベクトル表現を学ぶ手法の開発。
• シーン内の周囲のオブジェクトからの文脈的情報を統合し、学習された特徴の意味的明確性を向上させること。
• クラスタリングのパフォーマンスと再構成の忠実度を通じて、学習された埋め込みの質を評価すること。
• 文脈に配慮した特徴学習が、3D ビジョンタスクにおける下流の表現品質を向上させることを示すこと。
• 自然言語処理における word2vec と同等の、文脈に配慮した教師なし 3D 表現学習のベースラインを確立すること。

提案手法

• 本手法は、インスタンスセグメンテーション済みのポイントクラウドを処理する PointNet をベースとしたエンコーダ・デコーダアーキテクチャを用いる。
• コントラスト型損失関数を適用し、意味的に類似したオブジェクトが近い埋め込みを持つように促進する。正例ペアは、シーン内での文脈的近接性によって定義される。
• マージンベースのコントラスト型損失と再構成損失を用い、エンドツーエンドで Replica データセット上でモデルを学習する。
• 文脈モジュールは、周囲のオブジェクトからの特徴を統合し、各ターゲットオブジェクトの表現を豊かにする。
• 潜在コード（256次元）が最終的なオブジェクト埋め込みとして機能し、いかなる真の意味的ラベルも使用せずに学習される。
• 共有重みを持つMLP、バッチ正則化、マックスプーリングを含むアーキテクチャにより、順序不変性が保証される。

実験結果

リサーチクエスチョン

• RQ1 3D シーン内の文脈は、教師なしポイントクラウド埋め込みの意味的質を向上させることができるか？
• RQ2 シーンの文脈を統合することで、孤立したポイントクラウド処理と比較して、意味的に類似したオブジェクトのクラスタリングが向上するか？
• RQ3 学習された埋め込みは、オブジェクト同士の意味的中間形状を適切に補間できるか？
• RQ4 文脈に配慮したモデルの再構成性能およびクラスタリング性能は、標準の PointNet オートエンコーダーと比較して優れているか？
• RQ5 学習された埋め込み空間は連続的かつ意味的に一貫しており、補間および最近傍探索の結果によって裏付けられるか？

主な発見

• Points2Vec モデルはテストセットで平均チェンファーディスタンス（ACD）0.0946 を達成し、PointNet オートエンコーダーの 0.103 ACD よりも 8% 低減した。
• 学習された埋め込みに対する教師なし k-Means クラスタリングでは、ベースラインモデルと比較して意味的クラスの分離が向上した。
• オブジェクト埋め込み間の補間により、妥当な中間形状が得られ、学習されたベクトル空間の連続性と意味的一貫性が確認された。
• 幾何学的に類似していないにもかかわらず、検索タスクで意味的に類似したオブジェクト（例：椅子やテーブル）を正しく検索できた。
• 文脈に配慮したコントラスト型損失は、ベースラインオートエンコーダーよりも優れたクラスタリングと再構成性能を示し、特徴品質の向上を実証した。
• 本手法は未観測のシーンにも一般化可能であり、テストセットで一貫したパフォーマンスを示しており、ロバストネスと一般化能力が裏付けられた。