[論文レビュー] Clustering based Point Cloud Representation Learning for 3D Analysis

Tuo Feng, Wenguan Wang+3 more|arXiv (Cornell University)|Jul 27, 2023

Remote Sensing and LiDAR ApplicationsEnvironmental Science被引用数 3

ひとこと要約

本論文は、シーン間の潜在的サブクラスパターンを同定することで、クラス内変動に対してより頑健な3次元点群セグメンテーションの自己教師付き表現学習手法を提案する。ポイント埋め込みのクラス内クラスタリングを実施し、特徴空間を正則化することでクラスタ間の分離性とクラスタ内の密着性を向上させることで、SemanticKITTIでは一貫したmIoU向上（2.0–2.6%）、S3DISでは1.8–1.9%の向上を達成し、推論コストの増加は最小限にとどまる。

ABSTRACT

Point cloud analysis (such as 3D segmentation and detection) is a challenging task, because of not only the irregular geometries of many millions of unordered points, but also the great variations caused by depth, viewpoint, occlusion, etc. Current studies put much focus on the adaption of neural networks to the complex geometries of point clouds, but are blind to a fundamental question: how to learn an appropriate point embedding space that is aware of both discriminative semantics and challenging variations? As a response, we propose a clustering based supervised learning scheme for point cloud analysis. Unlike current de-facto, scene-wise training paradigm, our algorithm conducts within-class clustering on the point embedding space for automatically discovering subclass patterns which are latent yet representative across scenes. The mined patterns are, in turn, used to repaint the embedding space, so as to respect the underlying distribution of the entire training dataset and improve the robustness to the variations. Our algorithm is principled and readily pluggable to modern point cloud segmentation networks during training, without extra overhead during testing. With various 3D network architectures (i.e., voxel-based, point-based, Transformer-based, automatically searched), our algorithm shows notable improvements on famous point cloud segmentation datasets (i.e.,2.0-2.6% on single-scan and 2.0-2.2% multi-scan of SemanticKITTI, 1.8-1.9% on S3DIS, in terms of mIoU). Our algorithm also demonstrates utility in 3D detection, showing 2.0-3.4% mAP gains on KITTI.

研究の動機と目的

• 深度、視点、隠蔽変動に対して不変であるが、判別力のある点群埋め込みを学習する課題に対処すること。
• 明示的なアノテーションを必要とせず、点群データに潜在する微細なサブクラスパターンを同定すること。
• クラスタリングに基づく正則化を通じてグローバルかつ文脈に配慮した表現空間を学習し、3次元セグメンテーションの一般化性能を向上させること。
• アーキテクチャの変更や推論コストの増加なしに、さまざまな3次元ネットワークアーキテクチャ（ボクセルベース、ポイントベース、Transformerベース）と互換性を持つプラグアンドプレイな学習スキームを開発すること。

提案手法

• すべての訓練シーンにわたるポイント埋め込みに対してクラス内クラスタリングを実施し、隠れたサブクラスパターンを同定する。
• 同定されたクラスタ構造を用いて、クラスタ間の判別性を高め、クラスタ内ばらつきを低減するように埋め込み空間を正則化する。
• クラスタ内での特徴の密着性とクラスタ間での分離性を促進する、類似対照損失を導入する。
• 訓練中にクラスタリングに基づく正則化を適用することで、標準的な教師あり学習フレームワークと互換性を持つ。
• シーンに依存しない方法で、各シーンごとに訓練するのではなく、複数のシーンにまたがる特徴をグループ化することで、グローバルな分布モデリングを可能にする。
• アーキテクチャの変更なしに、既存の3次元セグメンテーションネットワーク（例：KPConv、PTV1、Cylinder3D）に容易に統合可能で、推論コストの増加がない。

Figure 1 : ${}_{\!}$ Overview ${}_{\!}$ of ${}_{\!}$ our ${}_{\!}$ clustering ${}_{\!}$ based ${}_{\!}$ supervised ${}_{\!}$ learning ${}_{\!}$ algorithm ${}_{\!}$ for ${}_{\!}$ point ${}_{\!}$ cloud ${}_{\!}$ segmentation. ${}_{\!\!\!}$

実験結果

リサーチクエスチョン

• RQ1 クラスタリングに基づく潜在的サブクラスパターンの同定は、3次元点群表現学習を向上させることができるか？
• RQ2 グローバルかつデータセットレベルのクラスタリング戦略は、視点、深度、隠蔽変動に対する頑健性を向上させるか？
• RQ3 埋め込みに対する教師なしクラスタリングは、追加のアノテーションなしにセマンティックセグメンテーション性能を向上させることができるか？
• RQ4 本手法は、標準的なシーン単位の学習と比較して、多様な3次元データセットにおけるmIoUと一般化性能においてどのように異なるか？
• RQ5 本手法は、さまざまな3次元ネットワークアーキテクチャにどの程度一般化可能か？

主な発見

• 本手法は、複数のネットワークアーキテクチャにわたるSemanticKITTI単一スキャンベンチマークで2.0–2.6%のmIoU向上を達成した。
• マルチスキャンのSemanticKITTIベンチマークでは、ベースラインモデル比で2.0–2.2%のmIoU向上を達成した。
• S3DISデータセットでは1.8–1.9%のmIoU向上を示し、異なる3次元シーンタイプにわたる強力な一般化性能を示した。
• 3次元検出タスクでは、KITTIデータセットでmAPを2.0–3.4%向上させ、セグメンテーションを超えた応用価値を確認した。
• ボクセルベース（MinkowskiNet）、ポイントベース（KPConv）、Transformerベース（PTV1、Cylinder3D）の多様なアーキテクチャにおいて、一貫した性能向上を示した。
• 定量的誤差マップでは、特にSemanticKITTIやS3DISのような複雑なシーンにおける、隠蔽物体や微細構造の誤分類を低減していることが示された。

Figure 2 : (a) Our clustering results for five classes, i.e . , sidewalk , vegetation , road , car , and building . (b-c) t-SNE visualization of point features $\{_{\!}\bm{P}^{c\!}\}_{c}$ learned with $\mathcal{J}_{\text{CE}}$ (Eq. ${}_{\!}$ ( 5 )) and $\mathcal{J}$ (Eq. ${}_{\!}$ ( 8 )). We set $M\