[논문 리뷰] Re-distributing Biased Pseudo Labels for Semi-supervised Semantic Segmentation: A Baseline Investigation

Ruifei He, Jihan Yang외 1명|arXiv (Cornell University)|2021. 07. 23.

Advanced Neural Network Applications참고 문헌 63인용 수 5

한 줄 요약

이 논문은 라벨된 데이터에서의 진짜 분포와 일치하도록 가짜 레이블의 클래스 분포를 보정함으로써, 장기적 테일 분포와 모델의 과신뢰로 인해 편향되는 가짜 레이블을 재분배하는 DARS라는 단순하면서도 효과적인 방법을 제안한다. 클래스별 임계값과 무작위 샘플링을 사용하여 DARS는 자기학습에서의 장기적 테일 편향을 수정하며, Cityscapes(1/8 분할)에서 mIoU가 8.89% 향상되고 PASCAL VOC 2012에서 4.49% 향상되어 최신 기술을 능가한다.

ABSTRACT

While self-training has advanced semi-supervised semantic segmentation, it severely suffers from the long-tailed class distribution on real-world semantic segmentation datasets that make the pseudo-labeled data bias toward majority classes. In this paper, we present a simple and yet effective Distribution Alignment and Random Sampling (DARS) method to produce unbiased pseudo labels that match the true class distribution estimated from the labeled data. Besides, we also contribute a progressive data augmentation and labeling strategy to facilitate model training with pseudo-labeled data. Experiments on both Cityscapes and PASCAL VOC 2012 datasets demonstrate the effectiveness of our approach. Albeit simple, our method performs favorably in comparison with state-of-the-art approaches. Code will be available at https://github.com/CVMI-Lab/DARS.

연구 동기 및 목표

• 자기학습 기반 준지도 학습 세그멘테이션에서 장기적 테일 데이터와 모델의 과신뢰로 인해 가짜 레이블이 다수 클래스 쪽으로 편향되는 심각한 클래스 분포 불일치 문제를 해결한다.
• 장기적 테일 분포 하에서 단일 임계값 가짜 레이블링이 성능을 저하시키는 이유를 규명하며, 특히 꼬리 클래스에서 신뢰도 겹침과 편향된 예측으로 인해 실패함을 밝힌다.
• 라벨된 데이터에서의 진짜 클래스 분포를 기반으로 가짜 레이블의 분포를 일치시키는 분포 일치 방법을 제안하여, 단지 신뢰도 임계값에 의존하지 않고 편향을 보완한다.
• 초기 단계에서 쉬운, 높은 신뢰도 예측에 과적합되는 것을 방지하기 위해 점진적인 데이터 증강 및 레이블링 전략을 도입한다.
• 이 방법이 일반화 가능하고 효율적이며 효과적이며, 최소한의 코드 수정으로 최신 기술 성능을 달성함을 입증한다.

제안 방법

• 클래스별 임계값과 무작위 샘플링을 사용하여 가짜 레이블의 클래스 분포가 라벨된 데이터에서의 진짜 분포와 일치하도록 재분배하는 분포 일치 및 무작위 샘플링(DARS)을 제안한다.
• 딥 네트워크에서의 신뢰도 겹침 문제를 해결하기 위해 단일 전역 임계값에 의존하지 않고, 각 클래스별로 별도의 신뢰도 임계값을 적용하여 정밀한 분포 일치를 달성한다.
• 점진적인 데이터 증강 및 레이블링 전략을 도입하여 훈련 에포크 동안 점차 증강 강도와 레이블링 비율을 증가시켜 안정성과 일반화 능력을 향상시킨다.
• PSPNet와 DeepLabv2를 백본 모델로 사용하여 반복적 자기학습 과정에서 DARS를 적용해 편향 없는 가짜 레이블을 생성한다.
• 라벨된 데이터셋에서 진짜 클래스 분포를 추정하고 이를 가짜 레이블 분포의 일치 대상으로 삼아 분포 불일치를 최소화한다.
• 낮은 데이터(1/8 분할) 및 높은 데이터 환경 모두에서 이 방법을 적용하며, 추가로 가짜 레이블된 데이터를 활용한 완전 준지도 미세조정도 수행한다.

실험 결과

연구 질문

• RQ1 편향된 가짜 레이블을 진짜 클래스 분포에 맞게 재분배하는 것이 준지도 학습 세그멘테이션 성능을 크게 향상시키는가?
• RQ2 클래스별 임계값과 무작위 샘플링을 사용하는 것이 장기적 테일 데이터와 모델 편향으로 인한 분포 불일치를 효과적으로 수정하는가?
• RQ3 점진적인 데이터 증강 및 레이블링 전략이 자기학습 중 모델 수렴과 안정성에 어떤 영향을 미치는가?
• RQ4 준지도 학습 세그멘테이션에서 높은 데이터 환경에서 성능 향상이 제한되는 주요 요인는 무엇인가?
• RQ5 DARS처럼 단순하고 일반적인 방법이 더 복잡한 최신 기술적 접근들보다 준지도 학습 세그멘테이션에서 뛰어난 성능을 내는가?

주요 결과

• 1/8 분할 설정에서 Cityscapes에서 DARS는 mIoU가 8.89% 향상되어 이전 방법들을 크게 능가한다.
• 1.4k개의 라벨된 이미지와 9,000개의 증강된 무라벨 이미지를 사용한 PASCAL VOC 2012에서 DARS는 이전 최고 기록 대비 mIoU가 4.49% 향상되었다.
• DARS의 성능 향상은 특히 드물게 발생하는 꼬리 클래스에서 가장 두드러지며, 헤드 클래스는 거의 향상되지 않는다.
• 높은 데이터 환경에서는 두 가지 주요 요인으로 인해 성능 향상이 포화 상태에 이르게 된다: (1) 원래 드문 클래스들이 헤드 클래스로 변화하고, (2) 소형 객체에 대해 딥 네트워크에서 체계적인 오류가 발생하여 추가 향상이 어려워진다.
• 소형 객체에 대한 네트워크 정확도가 크게 떨어지며, 이는 높은 데이터 준지도 학습에서의 주요 성능 제한 요인임을 시사한다.
• DARS로 추가로 9,000개의 가짜 레이블된 이미지를 확보한 완전 준지도 모델에 적용했을 때 mIoU가 단지 2.1% 향상되었으며, 이는 높은 데이터 환경에서 성능 포화 상태임을 시사한다.