[論文レビュー] Multi-Path Region Mining For Weakly Supervised 3D Semantic Segmentation on Point Clouds

Jiacheng Wei, Guosheng Lin+3 more|arXiv (Cornell University)|Mar 29, 2020

3D Shape Modeling and Analysis参考文献 42被引用数 15

ひとこと要約

本論文は、シーン単位またはサブクラウド単位のラベルのみを用いて弱教師付き3次元セマンティックセグメンテーションを実現する手法を提案する。マルチパス領域マイニング（MPRM）モジュールを導入し、空間的、チャネル、ポイント単位のアテンションを活用して、弱教師付き分類ネットワークから正確な擬似ポイントレベルラベルを生成する。この手法は、ScanNetで41.1 mIoUを達成し、PointNet++ や SPLATNet といった完全教師付きモデルを上回る性能を示しており、最小限のアノテーション作業で弱教師付き3次元セグメンテーションが可能であることを実証している。

ABSTRACT

Point clouds provide intrinsic geometric information and surface context for scene understanding. Existing methods for point cloud segmentation require a large amount of fully labeled data. Using advanced depth sensors, collection of large scale 3D dataset is no longer a cumbersome process. However, manually producing point-level label on the large scale dataset is time and labor-intensive. In this paper, we propose a weakly supervised approach to predict point-level results using weak labels on 3D point clouds. We introduce our multi-path region mining module to generate pseudo point-level label from a classification network trained with weak labels. It mines the localization cues for each class from various aspects of the network feature using different attention modules. Then, we use the point-level pseudo labels to train a point cloud segmentation network in a fully supervised manner. To the best of our knowledge, this is the first method that uses cloud-level weak labels on raw 3D space to train a point cloud semantic segmentation network. In our setting, the 3D weak labels only indicate the classes that appeared in our input sample. We discuss both scene- and subcloud-level weakly labels on raw 3D point cloud data and perform in-depth experiments on them. On ScanNet dataset, our result trained with subcloud-level labels is compatible with some fully supervised methods.

研究の動機と目的

• 完全教師付き3次元セマンティックセグメンテーションにおける高いアノテーションコストを、シーン単位またはサブクラウド単位の弱ラベルを用いることで低減すること。
• ポイントレベルのアノテーションが存在しない弱教師付き分類ネットワークから、正確なポイントレベルの擬似ラベルを生成する手法を開発すること。
• 空間的に大きなオブジェクトに支配されるシーンにおいて、ドアや窓などの小規模または支配的でないオブジェクトの局在化を、マルチパスアテンション機構を活用して向上させること。
• サブクラウドレベルのラベルを用いた弱教師付き学習が、シーンレベルの弱教師付き学習を上回り、一部の完全教師付き手法と同等の性能を達成できることを示すこと。

提案手法

• 分類バックボーンの後段に、空間的、チャネル、ポイント単位の空間アテンションの3つのアテンションモジュールを適用するマルチパス領域マイニング（MPRM）モジュールを導入し、多様な特徴表現を抽出する。
• 各アテンションパスにポイントクラスアクティベーションマッピング（PCAM）を適用し、クラス固有の領域を局在化して擬似マスクを生成する。
• 密な条件付きランダムフィールド（dCRF）を用いて、低レベル特徴とペairwiseの滑らかさを組み込むことで、擬似ラベルを精緻化する。
• 精緻化された擬似ラベルを用いて、完全教師付きの方法で大規模な3次元セマンティックセグメンテーションネットワークを訓練する。
• アテンションパス間の擬似ラベルを要素ごとの最大値統合により統合し、クラスごとのスコアバランスを保持する。
• 2種類の弱教師学習戦略を評価する：シーン単位（全シーンにおけるクラス存在）とサブクラウド単位（球状サブサンプルにおけるクラス存在）、その結果、サブクラウド単位がはるかに優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 ポイントレベルのアノテーションがなく、クラウド単位のラベル（シーンまたはサブクラウド）のみを用いて、弱教師付き3次元セマンティックセグメンテーションを効果的に学習できるか？
• RQ2 弱ラベルで学習された分類ネットワークが、セグメンテーション用に正確で局在化されたポイントレベルの擬似ラベルをどのように生成できるか？
• RQ3 標準的なCAMと比較して、マルチパスアテンションマイニングは、3次元シーンにおける小規模または支配的でないオブジェクトの局在化をどのように向上させるか？
• RQ4 セグメンテーション性能の観点から、サブクラウドレベルの弱教師学習はシーンレベルの教師学習よりも優れているか？
• RQ5 dCRFの後処理統合により、擬似ラベルの品質と下流のセグメンテーション精度がさらに向上するか？

主な発見

• 提案手法は、サブクラウドレベルの弱教師学習を用いて、ScanNetのテストセットで41.1 mIoUを達成し、PointNet++（33.9 mIoU） や SPLATNet（39.3 mIoU） といった完全教師付きモデルを上回った。
• MPRMモジュールは、標準的なCAMがしばしば見逃す小規模または支配的でないクラス（例：ドア、窓）の性能を顕著に向上させ、特にシーン単位の教師学習下で顕著であった。
• 空間アテンションパス単体が個々のパスの中で最も優れた性能を示し、オリジナルのPCAMに加えて4つのパス（PCAM + 3つのアテンションモジュール）を組み合わせた場合に最高のmIoUが得られた。これは、特徴の補完的学習が有効であることを示している。
• パス間の擬似ラベルを要素ごとの最大値統合することで、クラススコアの不均衡が最終予測を支配するのを防ぎ、要素ごとの和統合よりも優れた性能を達成した。
• 擬似ラベルを用いて完全なセグメンテーションネットワークを再訓練した場合、生の特徴マップを用いるよりも高い性能を達成した。これは、より深いネットワークが精緻化された擬似ラベルから恩恵を受けることを示している。
• サブクラウドレベルのラベルで学習したモデルは、シーンレベルのラベルで学習したモデルよりも大幅に優れた性能を示し、サブクラウドレベルの教師学習がアノテーションコストを低減しつつ局在化精度を向上させることの有効性を裏付けた。