[論文レビュー] Box2Seg: Learning Semantics of 3D Point Clouds with Box-Level Supervision

Yan Liu, Qingyong Hu+4 more|arXiv (Cornell University)|Jan 9, 2022

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

Box2Segは、バウンディングボックスレベルのアノテーションとサブクラウドレベルのタグのみを用いて、アテンションベースの自己学習とポイントクラス活性化マッピングを活用して正確な疑似ラベルを生成する弱教師付きフレームワークを提案する。これにより、前景および背景のポイントに対して高精度な疑似ラベルを生成でき、S3DISおよびScanNetで完全教師ありベースラインと同等またはそれを上回る性能を達成する。

ABSTRACT

Learning dense point-wise semantics from unstructured 3D point clouds with fewer labels, although a realistic problem, has been under-explored in literature. While existing weakly supervised methods can effectively learn semantics with only a small fraction of point-level annotations, we find that the vanilla bounding box-level annotation is also informative for semantic segmentation of large-scale 3D point clouds. In this paper, we introduce a neural architecture, termed Box2Seg, to learn point-level semantics of 3D point clouds with bounding box-level supervision. The key to our approach is to generate accurate pseudo labels by exploring the geometric and topological structure inside and outside each bounding box. Specifically, an attention-based self-training (AST) technique and Point Class Activation Mapping (PCAM) are utilized to estimate pseudo-labels. The network is further trained and refined with pseudo labels. Experiments on two large-scale benchmarks including S3DIS and ScanNet demonstrate the competitive performance of the proposed method. In particular, the proposed network can be trained with cheap, or even off-the-shelf bounding box-level annotations and subcloud-level tags.

研究の動機と目的

• 完全なポイントレベルのアノテーションが入手不可能または高コストである状況において、最小限の監視のもとで密度の高い3次元ポイントワイドなセマンティクスを学習する課題に対処すること。
• 大規模な3次元データセットで一般的に入手可能なバウンディングボックスレベルのアノテーションの未利用の潜在的価値を活用し、弱教師ありセマンティックセグメンテーションを実現すること。
• バウンディングボックス内および外の幾何学的・トポロジカルな事前知識を活用して、前景および背景の両方のポイントに対して信頼性の高い疑似ラベルを生成するフレームワークを開発すること。
• 実世界の不正確なアノテーションに耐性を持つことで、実用的な応用が可能となるように、ノイズや誤ったバウンディングボックスアノテーションに対しても頑健な性能を発揮すること。

提案手法

• 空間的依存関係と特徴アテンションをモデル化することで、バウンディングボックス内に存在する前景ポイントの初期疑似ラベルを生成するアテンションベースの自己学習（AST）パイプラインを採用する。
• ポイントクラス活性化マッピング（PCAM）を用いて特徴の顕著な領域を局所化し、顕著なポイント特徴を強調することで、前景の疑似ラベルを精緻化する。
• PCAMから得られる局所化の手がかりを活用し、前景の特徴に基づいて訓練された分類器を用いて、バウンディングボックス外の背景ポイントの疑似ラベルを生成する。
• 信頼度のしきい値と一貫性チェックを用いて、信頼性の低い疑似ラベルをフィルタリングするリファインメントモジュールを適用し、学習中の誤り伝搬を低減する。
• リファインされた疑似ラベルを用いて完全教師あり学習の形で最終的なセグメンテーションネットワークを訓練し、弱教師ありからのエンドツーエンド学習を可能にする。
• バウンディングボックスの幾何学的特徴（例：中心、スケール、空間的拡張）から得られる幾何的事前知識を統合し、疑似ラベル生成と局所化精度の向上を支援する。

実験結果

リサーチクエスチョン

• RQ1 ポイントレベルのラベルが一切ない状況でも、バウンディングボックスレベルのアノテーションのみで高性能な3次元セマンティックセグメンテーションモデルを学習可能か？
• RQ2 アテンションベースの自己学習とPCAMは、バウンディングボックス内に存在する前景ポイントの疑似ラベルをどれほど正確に生成できるか？
• RQ3 前景の特徴と構造的事前知識に基づいて訓練された分類器を用いることで、バウンディングボックス外の背景ポイントを信頼性高く疑似ラベル化できるか？
• RQ4 実世界のデータセットに一般的に見られるノイズや誤ったバウンディングボックスアノテーションに対しても、提案手法のフレームワークはどれほど頑健か？
• RQ5 異なるバックボーンアーキテクチャや大規模な3次元ベンチマークにおいて、このフレームワークは一般化可能か？

主な発見

• Box2Segは、S3DISデータセットのArea-5でバウンディングボックスとサブクラウドレベルの監視のみを用いて、mIoU 60.4%を達成し、PointNet++（52.3%）やPointCNNといった複数の完全教師ありベースラインを上回る性能を示した。
• ノイズのあるバウンディングボックス環境下でも高い性能を維持する：ランダムな±20%の平行移動ではmIoUが53.6%に低下し、スケールの摂動では55.0%に低下するが、アノテーションエラーに対して高い耐性を示す。
• 疑似ラベルのリファインメントステップが性能向上に最も寄与しており、mIoUを54.4%から60.4%まで向上させた。これは、信頼性の低い予測をフィルタリングすることが一般化性能を向上させる上で極めて重要であることを示している。
• 弱教師あり学習の条件下でも、S3DISおよびScanNetベンチマークでPointNet++ やPointCNNといった完全教師ありモデルと同等またはそれを上回る結果を達成した。
• バックボーンとしてPointNet++を採用した場合でも、44.5%のmIoUを達成しており、特徴抽出の制限による性能差は見られるものの、異なるネットワークアーキテクチャへの適応性が確認された。
• アブレーションスタディの結果、アテンションモデュレーション、疑似ラベル化、リファインメントの組み合わせが最良の性能（mIoU 60.4%）をもたらし、特にリファインメントが最も大きな寄与を示した。