[论文解读] All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation

Liyao Tang, Zhe Chen+3 more|arXiv (Cornell University)|May 25, 2023

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出ERDA，一种用于弱监督3D语义分割的新型熵正则化分布对齐框架，通过交叉熵风格损失联合优化伪标签生成与模型预测。通过熵正则化最小化噪声，并利用KL散度对齐伪标签与预测分布，ERDA实现了对未标注数据的完全利用，在仅使用1%真实标注的情况下达到最先进性能，甚至超越完全监督基线。

ABSTRACT

Pseudo-labels are widely employed in weakly supervised 3D segmentation tasks where only sparse ground-truth labels are available for learning. Existing methods often rely on empirical label selection strategies, such as confidence thresholding, to generate beneficial pseudo-labels for model training. This approach may, however, hinder the comprehensive exploitation of unlabeled data points. We hypothesize that this selective usage arises from the noise in pseudo-labels generated on unlabeled data. The noise in pseudo-labels may result in significant discrepancies between pseudo-labels and model predictions, thus confusing and affecting the model training greatly. To address this issue, we propose a novel learning strategy to regularize the generated pseudo-labels and effectively narrow the gaps between pseudo-labels and model predictions. More specifically, our method introduces an Entropy Regularization loss and a Distribution Alignment loss for weakly supervised learning in 3D segmentation tasks, resulting in an ERDA learning strategy. Interestingly, by using KL distance to formulate the distribution alignment loss, it reduces to a deceptively simple cross-entropy-based loss which optimizes both the pseudo-label generation network and the 3D segmentation network simultaneously. Despite the simplicity, our method promisingly improves the performance. We validate the effectiveness through extensive experiments on various baselines and large-scale datasets. Results show that ERDA effectively enables the effective usage of all unlabeled data points for learning and achieves state-of-the-art performance under different settings. Remarkably, our method can outperform fully-supervised baselines using only 1% of true annotations. Code and model will be made publicly available at https://github.com/LiyaoTang/ERDA.

研究动机与目标

• 为解决弱监督3D语义分割中标签选择的局限性，即置信度阈值因伪标签噪声而丢弃潜在有用的未标注点。
• 通过引入熵正则化减少伪标签中的噪声与不确定性，从而生成更可靠、更具信息量的伪标签。
• 通过分布对齐最小化伪标签与模型预测之间的分布差异，提升训练稳定性和性能。
• 实现在不依赖置信度选择策略的前提下，充分挖掘所有未标注数据点的潜力。
• 在低标注率设置下实现弱监督3D语义分割的最先进性能，甚至超越完全监督基线。

提出的方法

• 提出熵正则化（ER）损失，通过鼓励低熵、高置信度预测来减少伪标签中的不确定性和噪声。
• 引入基于伪标签与模型预测之间KL散度的分布对齐（DA）损失，以对齐其统计分布。
• 发现DA损失中使用KL散度可将目标函数简化为交叉熵风格损失，从而实现伪标签生成器与分割网络的联合优化。
• 将ER与DA结合形成统一的训练目标ERDA，以端到端方式联合优化两个网络。
• 使用软伪标签（而非one-hot）作为分割网络的输入，避免one-hot转换引入的噪声。
• 采用简单而有效的训练流程，避免复杂标签选择启发式方法，确保所有未标注点的一致使用。

实验结果

研究问题

• RQ1 熵正则化能否有效减少弱监督3D语义分割中伪标签的噪声与不确定性？
• RQ2 伪标签与模型预测之间的分布对齐是否能提升训练稳定性和性能？
• RQ3 通过简化交叉熵目标联合优化伪标签生成与分割学习，能否超越现有方法？
• RQ4 在不依赖置信度选择策略的前提下，未标注数据的利用程度能达到何种程度？
• RQ5 当仅使用1%标注时，ERDA能否超越完全监督基线？

主要发现

• 在S3DIS、ScanNet和SensatUrban数据集上，ERDA在多种弱监督设置（包括1%和10%标签率）下均达到最先进性能。
• 仅使用1%真实标注，ERDA即超越完全监督基线，证明其在利用伪标签方面优于完全监督设置。
• 消融研究显示，熵正则化与分布对齐的结合取得最佳性能，其中熵正则化减少噪声，分布对齐缓解分布差异。
• ERDA在所有标签选择策略（如top-k）下均显著提升性能，证明其消除了对置信度过滤的依赖。
• 该方法泛化能力强：在弱监督与完全监督设置下均提升性能，表明其具有更广泛的应用潜力。