[논문 리뷰] Semi-supervised semantic segmentation needs strong, high-dimensional perturbations

Geoff French, Timo Aila외 3명|arXiv (Cornell University)|2019. 09. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 74

한 줄 요약

이 논문은 반감성 분할이 분류에 비해 성능이 열등한 이유로 인해 의미 클래스 간에 낮은 밀도 영역이 부족하다는 점을 규명한다. 강력하고 고차원적인 증강 기법—특히 CutOut 및 CutMix의 변형 버전—이 상태의 기준 성능을 달성함으로써, 의미 분할이 반감성 학습 정규화 기법에 대한 엄격한 기준이 되는 것으로 입증된다.

ABSTRACT

Consistency regularization describes a class of approaches that have yielded ground breaking results in semi-supervised classification problems. Prior work has established the cluster assumption - under which the data distribution consists of uniform class clusters of samples separated by low density regions - as important to its success. We analyze the problem of semantic segmentation and find that its' distribution does not exhibit low density regions separating classes and offer this as an explanation for why semi-supervised segmentation is a challenging problem, with only a few reports of success. We then identify choice of augmentation as key to obtaining reliable performance without such low-density regions. We find that adapted variants of the recently proposed CutOut and CutMix augmentation techniques yield state-of-the-art semi-supervised semantic segmentation results in standard datasets. Furthermore, given its challenging nature we propose that semantic segmentation acts as an effective acid test for evaluating semi-supervised regularizers. Implementation at: this https URL.

연구 동기 및 목표

• 반감성 의미 분할이 반감성 분류에 비해 성능이 열등한 이유를 조사하는 것.
• 의미 분할의 데이터 분포를 분석하고, 일致성 정규화의 핵심이 되는 클러스터 가정이 성립하는지 평가하는 것.
• 데이터 증강 전략의 영향을 반감성 의미 분할 성능에 평가하는 것.
• 의미 분할이 반감성 학습 정규화 기법을 평가하기 위한 엄격한 기준이 될 수 있음을 제안하는 것.

제안 방법

• 저자는 의미 분할 데이터셋의 데이터 분포를 분석하여 클래스 간에 뚜렷한 낮은 밀도 영역이 없음을 발견하였으며, 이는 클러스터 가정과 배치된다.
• CutOut 및 CutMix 증강 기법을 변형하여 픽셀 수준의 분할 작업에 적합한 강력하고 고차원적인 변형을 도입한다.
• 이 방법은 원본 입력과 변형된 입력 간의 예측 일致성을 강제하기 위해 훈련 중에 이러한 증강 기법을 적용한다.
• 표준 일致성 정규화 손실을 사용하여 증강된 샘플과 원본 샘플 간의 모델 예측을 최적화한다.
• 표준 훈련 프로토콜을 사용하여 표준 반감성 의미 분할 기준 테스트 벤치마크에서 프레임워크를 평가한다.
• 재현성과 향후 기준 테스트를 위해 구현을 공개한다.

실험 결과

연구 질문

• RQ1 반감성 분류에서 성공의 기반이 되는 클러스터 가정이 의미 분할에 적용될 수 있는가?
• RQ2 기존의 일치성 정규화 방법이 반감성 의미 분할에서 성능이 열등한 이유는 무엇인가?
• RQ3 CutMix 및 CutOut와 같은 강력하고 고차원적인 데이터 증강 기법이 의미 분할에서 낮은 밀도 영역의 부족을 극복할 수 있는가?
• RQ4 이러한 증강 기법이 반감성 의미 분할에서 최고 수준의 성능을 달성하는가?
• RQ5 의미 분할이 반감성 학습 정규화 기법을 평가하기 위한 견고한 기준이 될 수 있는가?

주요 결과

• 의미 분할 데이터 분포는 클래스 간에 낮은 밀도 영역이 부족하여 클러스터 가정이 붕괴되고, 이는 표준 일치성 정규화 기법의 성능 열등성을 설명한다.
• 변형된 CutOut 및 CutMix 증강 기법은 반감성 의미 분할 성능을 크게 향상시켜 표준 기준 테스트 벤치마크에서 최고 수준의 성능을 달성한다.
• 이러한 증강 기법의 성공은 강력하고 고차원적인 변형을 생성하여 모델의 강인성을 향상시키는 능력에 기인한다.
• 분할 데이터에서 낮은 밀도 영역의 부재는 반감성 학습 방법 평가에 더 도전적이며 효과적인 시험대를 제공한다.
• 논문은 의미 분할이 높은 복잡성과 유리한 기하학적 가정의 부재로 인해 반감성 정규화 기법을 평가하기 위한 엄격한 산산이 될 수 있음을 입증한다.