[논문 리뷰] Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation

Lihe Yang, Lei Qi외 3명|arXiv (Cornell University)|2022. 08. 21.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 유사한 강한-약한 일致성의 향상을 위해 보조적인 특징 수준의 편향과 공유된 약한 시각에 기반한 이중 강한 시각을 통한 강력한 이중 스트림 편향 프레임워크인 UniMatch를 제안한다. 이는 이미지 수준의 증강 외에도 편향 공간을 확장함으로써, Pascal, Cityscapes, COCO, 원격 탐사 및 의료 영상 인식 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며, 아키텍처 변경을 최소화하면서도 이전 방법들보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

In this work, we revisit the weak-to-strong consistency framework, popularized by FixMatch from semi-supervised classification, where the prediction of a weakly perturbed image serves as supervision for its strongly perturbed version. Intriguingly, we observe that such a simple pipeline already achieves competitive results against recent advanced works, when transferred to our segmentation scenario. Its success heavily relies on the manual design of strong data augmentations, however, which may be limited and inadequate to explore a broader perturbation space. Motivated by this, we propose an auxiliary feature perturbation stream as a supplement, leading to an expanded perturbation space. On the other, to sufficiently probe original image-level augmentations, we present a dual-stream perturbation technique, enabling two strong views to be simultaneously guided by a common weak view. Consequently, our overall Unified Dual-Stream Perturbations approach (UniMatch) surpasses all existing methods significantly across all evaluation protocols on the Pascal, Cityscapes, and COCO benchmarks. Its superiority is also demonstrated in remote sensing interpretation and medical image analysis. We hope our reproduced FixMatch and our results can inspire more future works. Code and logs are available at https://github.com/LiheYoung/UniMatch.

연구 동기 및 목표

• 이미지 수준의 증강 외에 편향 공간을 확장함으로써, 약한-강한 일치를 향상시키기 위해 특징 수준의 편향을 도입함으로써, 반복적인 약한-강한 일치를 향상시키는 것.
• FixMatch에서 단일 강한 시각 사용의 한계를 해결하여 수동으로 설계된 강한 증강을 효율적으로 활용하지 못하는 문제를 해결하는 것.
• 특징 수준의 편향이 이미지 수준의 강한 증강을 대체하거나 보완하는 데 효과적으로 기능할 수 있는지 조사하는 것.
• 이중 스트림 편향이 모델 일반화 및 일치성 향상에 기여하는지 입증하는 것.
• FixMatch에 개선된 증강 설계를 적용하여 향후 연구를 위한 강력하고 재현 가능한 기반을 제공하는 것.

제안 방법

• 이미지 수준의 강한 증강(예: CutMix, 색상 왜곡 등)과 특징 수준의 채널 드롭아웃을 별도로 적용하여 상호 보완적인 편향 스트림을 생성하는 통합 이중 스트림 편향 프레임워크를 도입한다.
• 공유된 약한 시각을 사용하여 두 개의 독립적인 강한 시각을 감독함으로써, 이중 스트림 일치 학습을 가능하게 하고, 모델의 강건성을 향상시킨다.
• 편향 공간을 이미지 수준의 변환 외로 확장하기 위해 단순하고 보편적인 특징 수준의 편향으로 채널 드롭아웃을 적용한다.
• 신뢰도 임계값을 사용하여 저품질의 가짜 라벨을 필터링함으로써, 자기 학습 과정에서 오류 누적 문제를 줄인다.
• 두 개의 독립적인 채널 드롭아웃을 특징에 적용하여 대비 학습 유사 행동을 향상시키는 이중 스트림 특징 수준의 편향 변형을 설계한다.
• 강한 시각의 수와 편향 스트림의 수에 대한 추론 실험을 수행하여, 두 개에서 세 개의 시각에서 최적의 성능을 보임을 입증한다.

실험 결과

연구 질문

• RQ1 특징 수준의 편향만으로도 이미지 수준의 강한 증강과 동일한 성능을 달성할 수 있는가?
• RQ2 이중 스트림 강한 시각 감독 방식이 단일 강한 시각 학습에 비해 모델 일반화 능력을 어떻게 향상시키는가?
• RQ3 이미지 수준의 편향 공간을 완전히 탐색하기 위해 최적의 강한 시각 수는 얼마인가? 성능 저하 없이.
• RQ4 보조적인 특징 수준의 편향이 편향 공간을 효과적으로 확장하고 일치성을 향상시키는 데 기여하는가?
• RQ5 저샘플 라벨링 조건 하에서 원격 탐사 및 의료 영상 분야를 포함한 다양한 벤치마크에서 제안된 방법의 성능은 어떠한가?

주요 결과

• UniMatch는 Pascal, Cityscapes, COCO 벤치마크에서 최신 기술 수준의 성능을 달성하여, 모든 평가 프로토콜에서 이전의 모든 방법들을 능가한다.
• 92개의 라벨이 있는 Pascal 데이터셋에서 UniMatch는 79.2%의 mIoU를 기록하여 기준 모델인 FixMatch(74.6%)와 CutMix만을 사용한 방법(78.3%)을 크게 앞서며 성능을 뛰어넘었다.
• 특징 수준의 채널 드롭아웃만으로도 이미지 수준의 강한 증강과 유사한 성능을 달성하며, 정확도는 약간 낮을 뿐이지만, 이는 보편적인 편향으로서의 효과를 입증한다.
• 이중 스트림 강한 시각 감독 방식은 단일 시각 학습 대비 성능 향상을 보이며, 여러 개의 강한 시각이 일치성과 일반화 능력을 향상시킨다는 점을 입증한다.
• 이 방법은 자연 이미지 외에도 원격 탐사 및 의료 영상 분류 분야에서 잘 일반화되어 강력한 성능을 보이며, 광범위한 적용 가능성을 시사한다.
• 추론 실험 결과, 두 개에서 세 개의 강한 시각이 최적임을 확인하였으며, 이를 초과하면 학습 난이도 증가로 인해 성능이 약간 저하됨을 확인하였다.