[논문 리뷰] Augmentation Matters: A Simple-yet-Effective Approach to Semi-supervised Semantic Segmentation

Zhen Zhao, Lihe Yang외 4명|arXiv (Cornell University)|2022. 12. 09.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 표준 티처-스터디언트 프레임워크 내에서 정교한 데이터 증강을 통해 성능을 향상시키는 단순하면서도 효과적인 준지도 학습 세그멘테이션 방법 AugSeg를 제안한다. 강렬한 무작위성 기반의 증강과 적응형 레이블 주입 증강을 활용함으로써, 추가 구성 요소나 복잡한 학습 절차 없이도 Pascal VOC 2012 및 Cityscapes에서 새로운 최고 성능을 달성한다.

ABSTRACT

Recent studies on semi-supervised semantic segmentation (SSS) have seen fast progress. Despite their promising performance, current state-of-the-art methods tend to increasingly complex designs at the cost of introducing more network components and additional training procedures. Differently, in this work, we follow a standard teacher-student framework and propose AugSeg, a simple and clean approach that focuses mainly on data perturbations to boost the SSS performance. We argue that various data augmentations should be adjusted to better adapt to the semi-supervised scenarios instead of directly applying these techniques from supervised learning. Specifically, we adopt a simplified intensity-based augmentation that selects a random number of data transformations with uniformly sampling distortion strengths from a continuous space. Based on the estimated confidence of the model on different unlabeled samples, we also randomly inject labelled information to augment the unlabeled samples in an adaptive manner. Without bells and whistles, our simple AugSeg can readily achieve new state-of-the-art performance on SSS benchmarks under different partition protocols.

연구 동기 및 목표

• 초기 최고 성능 준지도 학습 세그멘테이션(Semantic Segmentation, SSS) 방법들이 추가 모듈과 학습 절차에 의존하는 복잡성 증가 문제를 해결하기 위해.
• 준지도 학습 환경에 맞춘 단순화된 그러나 효과적인 데이터 증강 전략을 통해 SSS 성능을 향상시키기 위해.
• 대조 학습이나 보조 네트워크와 같은 복잡한 메커니즘에 대한 의존도를 줄이면서도, 최고 성능를 유지하거나 초월하기 위해.
• 철저한 데이터 변형 설계가 복잡한 모델 아키텍처보다 준지도 학습에서 더 우수한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 지속적인 공간에서 샘플링된 왜곡 강도를 갖는 무작위 수의 변환을 선택하는 매우 무작위적인 강도 기반 증강을 제안하며, 이는 이산적 검색 공간을 피한다.
• 레이블이 부여된 샘플을 덜 확신 있는 비레이블 샘플과 혼합하여 학습을 안정화하고 확신 편향을 줄이는 적응형 레이블 주입 증강을 도입한다.
• 일致성 정규화를 적용하는 표준 티처-스터디언트 프레임워크를 사용하며, 학습 중에는 증강을 비레이블 데이터에만 적용한다.
• 분포별 정규화나 복잡한 손실 균형 조정을 포함하지 않는 단순화된 증강 파이프라인을 사용하며, 과적합과 과도한 왜곡을 줄이기 위해 랜덤라이제이션에 의존한다.
• 무작위 강도 기반 증강과 적응형 레이블 주입 증강을 함께 적용하며, 추가 네트워크 헤드나 보정 모듈 없이도 성능을 높인다.
• 기본적인 교차 엔트로피 손실과 일치성 손실을 사용하며, 비지도 학습 손실 가중치는 기본값 1.0을 사용하고, 샘플당 최대 3개의 강도 기반 증강을 적용한다.

실험 결과

연구 질문

• RQ1 복잡한 다중 구성 요소 최고 성능 방법보다 단순한 증강 중심 접근법이 준지도 학습 세그멘테이션에서 승리할 수 있는가?
• RQ2 강도 기반 증강 설계에서의 랜덤라이제이션이 준지도 학습에서 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ3 비레이블 샘플에 레이블 정보를 적응적으로 주입하는 것이 모델의 확신도와 세그멘테이션 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 증강 설계를 단순화함으로써 기존 SSS 방법에서 흔히 발생하는 과적합과 과도한 왜곡 문제를 줄일 수 있는가?

주요 결과

• AugSeg는 366개의 레이블이 있는 Pascal VOC 2012에서 새로운 최고 성능를 달성하였으며, 다양한 분할 프로토콜 하에서 이전 최고 성능 방법을 크게 앞서 갔다.
• 제안된 무작위 강도 기반 증강만으로도 366개의 레이블이 있는 VOC 2012에서 지도 학습 기반 모델 대비 10.76% 향상되었고, 일반적인 메인티처 기반 모델 대비 3.35% 향상되었다.
• 적응형 레이블 주입 증강은 지도 학습 기반 모델 대비 12.68% 향상되었고, 메인티처 기반 모델 대비 5.27% 향상되어 비레이블 데이터에서 학습 안정성 향상의 효과를 입증했다.
• 두 증강을 결합하면 최고의 성능를 기록하였으며, ResNet-50와 366개의 레이블을 사용한 VOC 2012에서 mIoU가 76.17%에 도달하여 이전 최고 성능를 초월했다.
• 모델은 다양한 하이퍼파라미터 설정에서도 강건성을 유지한다: 선택된 증강 수(k)를 0에서 3으로 증가시킬수록 성능 향상이 이루어지며, 고정된 선택 전략과 달리 성능 저하 없이 작동한다.
• 절단 분석 결과, 특정 하이퍼파라미터 설정이 항상 다른 설정보다 뛰어나지 않음을 확인하였으며, 단순성과 일관성을 고려해 기본값(k=3, λu=1.0)을 선택한 것이 타당하다.