[論文レビュー] All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation

Liyao Tang, Zhe Chen+3 more|arXiv (Cornell University)|May 25, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、弱教師付き3次元セマンティックセグメンテーションのための、新たなエントロピー正則化付き分布アライメントフレームワークERDAを提案する。ERDAは、交差エントロピー型の損失を用いて、疑似ラベル生成とモデル予測を同時に最適化する。エントロピー正則化によりノイズを低減し、KLダイバージェンスを用いた疑似ラベルと予測の分布アライメントにより、未ラベルデータの完全な活用が可能となり、真のアノテーションが1%のみの状況でも、最先端の性能を達成し、完全教師ありベースラインを上回る。

ABSTRACT

Pseudo-labels are widely employed in weakly supervised 3D segmentation tasks where only sparse ground-truth labels are available for learning. Existing methods often rely on empirical label selection strategies, such as confidence thresholding, to generate beneficial pseudo-labels for model training. This approach may, however, hinder the comprehensive exploitation of unlabeled data points. We hypothesize that this selective usage arises from the noise in pseudo-labels generated on unlabeled data. The noise in pseudo-labels may result in significant discrepancies between pseudo-labels and model predictions, thus confusing and affecting the model training greatly. To address this issue, we propose a novel learning strategy to regularize the generated pseudo-labels and effectively narrow the gaps between pseudo-labels and model predictions. More specifically, our method introduces an Entropy Regularization loss and a Distribution Alignment loss for weakly supervised learning in 3D segmentation tasks, resulting in an ERDA learning strategy. Interestingly, by using KL distance to formulate the distribution alignment loss, it reduces to a deceptively simple cross-entropy-based loss which optimizes both the pseudo-label generation network and the 3D segmentation network simultaneously. Despite the simplicity, our method promisingly improves the performance. We validate the effectiveness through extensive experiments on various baselines and large-scale datasets. Results show that ERDA effectively enables the effective usage of all unlabeled data points for learning and achieves state-of-the-art performance under different settings. Remarkably, our method can outperform fully-supervised baselines using only 1% of true annotations. Code and model will be made publicly available at https://github.com/LiyaoTang/ERDA.

研究の動機と目的

• 疑似ラベルのノイズによる信頼度しきい値による選択の限界を解消し、ノイズのある疑似ラベルにより、有用な未ラベル点が無駄に除外される問題に対処すること。
• エントロピー正則化を導入することで、疑似ラベルのノイズと不確実性を低減し、より信頼性が高く情報量の多い疑似ラベルを生成すること。
• 疑似ラベルとモデル予測の分布的乖離を最小化するための分布アライメントにより、学習の安定性と性能を向上させること。
• 信頼度に基づく選択戦略に依存せずに、未ラベルデータ点を完全に活用できること。
• 低アノテーションレジーム下でも、弱教師付き3次元セグメンテーションで最先端の性能を達成し、完全教師ありベースラインを上回ること。

提案手法

• 疑似ラベルの不確実性とノイズを低減するため、エントロピー正則化（ER）損失を提案し、低エントロピーで信頼性の高い予測を促進する。
• 疑似ラベルとモデル予測の統計的分布を一致させるために、KLダイバージェンスに基づく分布アライメント（DA）損失を導入する。
• DA損失にKLダイバージェンスを用いることで、目的関数が交差エントロピー型の損失に簡略化され、疑似ラベル生成器とセグメンテーションネットワークの共同最適化が可能になること。
• ERとDAを統合した統一された学習目的であるERDAを構築し、エンドツーエンドで両ネットワークを同時に最適化する。
• 1ホット表現ではなく、ソフト疑似ラベルをセグメンテーションネットワークの入力として使用し、1ホット変換に伴うノイズを回避する。
• 複雑なラベル選択ヒューリスティクスを避けるシンプルで効果的な学習パイプラインを採用し、未ラベル点を一貫して活用可能にする。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化は、弱教師付き3次元セグメンテーションにおける疑似ラベルのノイズと不確実性を効果的に低減できるか？
• RQ2 疑似ラベルとモデル予測の間の分布アライメントは、学習の安定性と性能を向上させるか？
• RQ3 簡略化された交差エントロピー型の目的関数を用いた、疑似ラベル生成とセグメンテーション学習の共同最適化は、既存手法を上回るか？
• RQ4 信頼度に基づくラベル選択に依存せずに、未ラベルデータをどの程度完全に活用できるか？
• RQ5 1%のアノテーションのみを用いた場合、ERDAは完全教師ありベースラインを上回ることができるか？

主な発見

• ERDAは、S3DIS、ScanNet、SensatUrbanの各データセットにおいて、1%および10%のラベルレジームを含むさまざまな弱教師付き設定で、最先端の性能を達成した。
• 真のアノテーションが1%のみの状況でも、完全教師ありベースラインを上回り、疑似ラベルの活用効率が完全教師あり学習を凌駆えることを示した。
• アブレーションスタディの結果、エントロピー正則化と分布アライメントを併用することで最高の性能が得られ、エントロピー正則化がノイズを低減し、分布アライメントが分布乖離を軽減することが分かった。
• すべてのラベル選択戦略（例：top-k）において、ERDAは顕著な性能向上を示し、信頼度ベースのフィルタリングの必要性を排除したことを証明した。
• 本手法は一般化性に優れている：弱教師ありおよび完全教師ありの両設定において性能向上を示し、より広範な応用可能性を示している。