[論文レビュー] Dual Adaptive Transformations for Weakly Supervised Point Cloud Segmentation

Zhonghua Wu, Yicheng Wu+3 more|arXiv (Cornell University)|Jul 19, 2022

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

本稿では、希少なアノテーションからの汎化を向上させるために、局所的および領域的摂動を適応的に適用する一貫性を強制する、新しい弱教師あり点群セグメンテーションフレームワークであるデュアルアダプティブトランスフォーメーション（DAT）を提案する。LAP（局所的アダプティブ摂動）モジュールとRAD（領域的アダプティブ変形）モジュールを統合することで、DATはS3DISの「One Thing One Click」設定において、先行手法よりも6.5% mIoU向上を達成し、最先端の性能を実現した。

ABSTRACT

Weakly supervised point cloud segmentation, i.e. semantically segmenting a point cloud with only a few labeled points in the whole 3D scene, is highly desirable due to the heavy burden of collecting abundant dense annotations for the model training. However, existing methods remain challenging to accurately segment 3D point clouds since limited annotated data may lead to insufficient guidance for label propagation to unlabeled data. Considering the smoothness-based methods have achieved promising progress, in this paper, we advocate applying the consistency constraint under various perturbations to effectively regularize unlabeled 3D points. Specifically, we propose a novel DAT ( extbf{D}ual extbf{A}daptive extbf{T}ransformations) model for weakly supervised point cloud segmentation, where the dual adaptive transformations are performed via an adversarial strategy at both point-level and region-level, aiming at enforcing the local and structural smoothness constraints on 3D point clouds. We evaluate our proposed DAT model with two popular backbones on the large-scale S3DIS and ScanNet-V2 datasets. Extensive experiments demonstrate that our model can effectively leverage the unlabeled 3D points and achieve significant performance gains on both datasets, setting new state-of-the-art performance for weakly supervised point cloud segmentation.

研究の動機と目的

• 少数のラベル付き点しか利用できない状況で、正確な3次元点群セグメンテーションモデルを訓練する課題に対処すること。
• 未ラベルデータをより効果的に活用することで、弱教師あり設定におけるラベル伝搬とモデルの汎化性能を向上させること。
• 点レベルおよび領域レベルの両方で滑らかさを強制する適応的変換を用いた、堅牢で一貫性のある訓練戦略の構築。
• S3DIS や ScanNet-v2 といった大規模ベンチマークで、最小限の監督のもとで最先端の性能を達成すること。

提案手法

• 点レベルおよび領域レベルの両方で一貫性制約を適用するデュアルアダプティブトランスフォーメーション（DAT）フレームワークを提案する。
• オンラインで推定されたクラス分布に基づいて、適応的な座標およびクラスに依存する特徴摂動を生成する局所的アダプティブ摂動（LAP）モジュールを導入する。
• スーパーピクセル領域に対して、シフト、スケーリング、回転などの適応的アフィン変換を適用し、構造的一致性を強制する領域的アダプティブ変形（RAD）モジュールを採用する。
• 予測が多様な適応的摂動のもとでも一貫性を保つように、敵対的戦略を用いて変換モジュールを訓練する。
• 標準的な点群バックボーン（例：KPConv、PointNet++）とエンドツーエンドで統合可能であり、既存の弱教師ありフレームワークともスムーズに統合可能である。
• 疑似ラベル付けと反復的リファインメントを活用し、摂動されたビュー間で一貫性のある予測が未ラベル点の学習を導く。

実験結果

リサーチクエスチョン

• RQ1 希少なアノテーションしか利用できない状況で、適応的で一貫性に基づくデータオーグメンテーションが、弱教師あり3次元点群セグメンテーションの性能向上に寄与するか？
• RQ2 点群の幾何構造と特徴分布に適合した適応的変換を用いて、局所的および領域的滑らかさ制約を効果的にモデル化できるか？
• RQ3 提案された二段階の変換戦略は、異なる点群アーキテクチャおよびベンチマークに一般化可能か？
• RQ4 本手法は、1T1Cのような既存の最先端モデルを、プラグアンドプレイでどれほど向上できるか？

主な発見

• S3DISデータセットにおいて「One Thing One Click」設定下で、DATは前回の最先端手法1T1Cよりも6.5% mIoU向上を達成し、mIoU 62.3%を記録した。
• ScanNet-v2の検証セットにおいて、1T1CフレームワークをベースにしたDATはmIoUを3.0%向上させ、64.4%のmIoUを達成した。
• ベースラインモデルに対する性能向上は、ScanNet-v2のテストセットで3.2%、検証セットで3.9% mIoU向上を示し、優れた汎化性能を示した。
• ボクセルベースのバックボーン（MinkowskiNet）に適用した場合、OTO CおよびOTTC設定下でそれぞれmIoUが5.9%および3.2%向上し、アーキテクチャを問わず汎用性を確認した。
• アブレーションスタディの結果、LAPおよびRADモジュールの両方が性能向上に顕著な寄与をしていることが確認され、クラスに依存する特徴摂動が局所的一致性を向上させた。
• 定性的な結果から、DATはオブジェクト構造を保持し、わずか20ポイントのラベルしか与えられていない状況でも正確で一貫性のあるセグメンテーションを生成した。