[논문 리뷰] All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation

Liyao Tang, Zhe Chen외 3명|arXiv (Cornell University)|2023. 05. 25.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 약한 감독 3D 세분화를 위한 새로운 엔트로피 정규화 분포 보정 프레임워크인 ERDA를 제안한다. 이는 교차 엔트로피 스타일 손실을 사용하여 가짜 레이블 생성과 모델 예측을 공동 최적화한다. 엔트로피 정규화를 통해 노이즈를 최소화하고, KL 발산을 통한 가짜 레이블과 예측 분포의 보정을 통해 모든 미라벨링 데이터를 효율적으로 활용함으로써, 진짜 레이블의 1%만으로도 최신 기준 성능을 달성하고, 완전 감독 기반 보다 뛰어난 성능을 내는 데 성공한다.

ABSTRACT

Pseudo-labels are widely employed in weakly supervised 3D segmentation tasks where only sparse ground-truth labels are available for learning. Existing methods often rely on empirical label selection strategies, such as confidence thresholding, to generate beneficial pseudo-labels for model training. This approach may, however, hinder the comprehensive exploitation of unlabeled data points. We hypothesize that this selective usage arises from the noise in pseudo-labels generated on unlabeled data. The noise in pseudo-labels may result in significant discrepancies between pseudo-labels and model predictions, thus confusing and affecting the model training greatly. To address this issue, we propose a novel learning strategy to regularize the generated pseudo-labels and effectively narrow the gaps between pseudo-labels and model predictions. More specifically, our method introduces an Entropy Regularization loss and a Distribution Alignment loss for weakly supervised learning in 3D segmentation tasks, resulting in an ERDA learning strategy. Interestingly, by using KL distance to formulate the distribution alignment loss, it reduces to a deceptively simple cross-entropy-based loss which optimizes both the pseudo-label generation network and the 3D segmentation network simultaneously. Despite the simplicity, our method promisingly improves the performance. We validate the effectiveness through extensive experiments on various baselines and large-scale datasets. Results show that ERDA effectively enables the effective usage of all unlabeled data points for learning and achieves state-of-the-art performance under different settings. Remarkably, our method can outperform fully-supervised baselines using only 1% of true annotations. Code and model will be made publicly available at https://github.com/LiyaoTang/ERDA.

연구 동기 및 목표

• 가짜 레이블의 노이즈로 인해 유용한 미라벨링 포인트가 신뢰도 기반 임계값 설정에 의해 기각되는 약한 감독 3D 세분화의 레이블 선택 한계를 해결하기 위해.
• 엔트로피 정규화를 도입하여 가짜 레이블의 노이즈와 불확실성을 줄여 더 신뢰도 있고 정보가 풍부한 가짜 레이블을 얻기 위해.
• 가짜 레이블과 모델 예측 간의 분포 차이를 최소화하기 위해 분포 보정을 통해 훈련의 안정성과 성능을 향상시키기 위해.
• 신뢰도 기반 선택 전략에 의존하지 않고도 모든 미라벨링 포인트를 완전히 활용할 수 있도록 하기 위해.
• 낮은 레이블링 비율 조건에서도 최신 기준 성능을 달성하고, 완전 감독 기반 보다 뛰어난 성능을 내는 데 성공하기 위해.

제안 방법

• 가짜 레이블의 불확실성과 노이즈를 줄이기 위해 엔트로피 정규화(ER) 손실을 제안하여 낮은 엔트로피, 높은 신뢰도의 예측을 유도한다.
• 가짜 레이블과 모델 예측 간의 KL 발산을 기반으로 한 분포 보정(DA) 손실을 도입하여 두 통계 분포를 보정한다.
• DA 손실에서 KL 발산을 사용할 경우 간단한 교차 엔트로피 스타일 손실로 목적 함수가 단순화됨을 발견하여, 가짜 레이블 생성기와 세분화 네트워크의 공동 최적화가 가능해진다.
• ER와 DA를 통합하여 ERDA라는 통합 훈련 목표를 제안하며, 이는 양방향 네트워크를 종합적으로 엔드 투 엔드 방식으로 최적화한다.
• 일반화된 가짜 레이블(일반화된 one-hot 이외의 방식)을 세분화 네트워크의 입력으로 사용하여 one-hot 변환에 의해 유도되는 노이즈를 방지한다.
• 복잡한 레이블 선택 히우리스틱을 피하는 단순하면서도 효과적인 훈련 파이프라인을 사용하여 모든 미라벨링 포인트를 일관되게 활용한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화는 약한 감독 3D 세분화에서 가짜 레이블의 노이즈와 불확실성을 효과적으로 줄일 수 있는가?
• RQ2 가짜 레이블과 모델 예측 간의 분포 보정은 훈련의 안정성과 성능을 향상시키는가?
• RQ3 단순화된 교차 엔트로피 목적 함수를 통한 가짜 레이블 생성과 세분화 학습의 공동 최적화가 기존 방법보다 뛰어난 성능을 내는가?
• RQ4 신뢰도 기반 레이블 선택 없이, 얼마나 많은 미라벨링 데이터를 완전히 활용할 수 있는가?
• RQ5 레이블의 1%만을 사용할 때 ERDA는 완전 감독 기반 보다 뛰어나게 성능을 내는가?

주요 결과

• ERDA는 S3DIS, ScanNet, SensatUrban에서 다양한 약한 감독 설정, 특히 1% 및 10% 레이블 루프에서 최신 기준 성능을 달성한다.
• 진짜 레이블의 1%만으로도 ERDA는 완전 감독 기반 보다 뛰어난 성능을 내며, 가짜 레이블을 더 효과적으로 활용할 수 있음을 입증한다.
• 절단 실험 결과, 엔트로피 정규화와 분포 보정을 결합할 경우 최고의 성능을 내며, 엔트로피 정규화는 노이즈를 줄이고, 분포 보정은 분포 간 격차를 완화함을 확인한다.
• 모든 레이블 선택 전략(예: top-k)에서 성능이 크게 향상되어, 신뢰도 기반 필터링이 필요 없음을 입증한다.
• 이 방법은 잘 일반화되며, 약한 감독 및 완전 감독 설정 모두에서 성능 향상을 이끌어내어 더 넓은 적용 가능성을 보여준다.