[논문 리뷰] Semi-supervised semantic segmentation needs strong, varied perturbations

Geoff French, Samuli Laine외 3명|arXiv (Cornell University)|2019. 06. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 162

한 줄 요약

논문은 의미론적 분할에서 일관성 규칙화가 왜 어려운지 분석하고, 강하고 다양한 마스크 기반 증강(CutOut/CutMix의 적응 버전)이 평균-교사 프레임워크 내에서 자연 이미지에 대한 최첨단 반지도학습 분할을 달성한다는 것을 보여준다.

ABSTRACT

Consistency regularization describes a class of approaches that have yielded ground breaking results in semi-supervised classification problems. Prior work has established the cluster assumption - under which the data distribution consists of uniform class clusters of samples separated by low density regions - as important to its success. We analyze the problem of semantic segmentation and find that its' distribution does not exhibit low density regions separating classes and offer this as an explanation for why semi-supervised segmentation is a challenging problem, with only a few reports of success. We then identify choice of augmentation as key to obtaining reliable performance without such low-density regions. We find that adapted variants of the recently proposed CutOut and CutMix augmentation techniques yield state-of-the-art semi-supervised semantic segmentation results in standard datasets. Furthermore, given its challenging nature we propose that semantic segmentation acts as an effective acid test for evaluating semi-supervised regularizers. Implementation at: https://github.com/Britefury/cutmix-semisup-seg.

연구 동기 및 목표

• 의미론적 분할의 데이터 분포와 그 일관성 규칙화에 대한 영향을 평가한다.
• 픽셀 수준 분할에서 저밀도 영역이 클래스를 구분하는지 확인한다.
• 분할에 적합한 강력한 섭동 증강을 개발하고 평가한다.
• 적응된 CutMix를 평균 교사 구성을 사용한 상태에서 반지도학습 분할의 최첨단 결과를 시현한다.

제안 방법

• 분할의 클러스터 가정 유효성을 평가하기 위해 패치 수준 데이터 밀도를 분석한다.
• Mean Teacher 모델과 함께 반지도학습 분할에 맞춘 CutOut과 CutMix 증강을 적응한다.
• 섭동 입력에서 예측을 교사(teacher)가 생성한 타깃과 비교하는 픽셀 단위의 일관성 손실을 사용한다.
• 저밀도 영역에 의존하지 않으면서 의사 결정 경계를 제약하기 위해 분산이 풍부한 증강 전략을 활용한다.
• perturbation의 효과를 비교하기 위해 Cityscapes, 확장된 Pascal VOC, ISIC 2017에서 평가한다.

실험 결과

연구 질문

• RQ1 의미론적 분할이 표준 분류처럼 클래스 간 간격이 드문 저밀도 영역을 보이며 일관성 규칙화에 영향을 주는가?
• RQ2 명확한 저밀도 영역이 없더라도 강력하고 다양한 마스크 기반 증강이 분할의 효과적인 반지도학습을 가능하게 하는가?
• RQ3 적응된 CutOut 및 CutMix 증강은 자연 이미지 및 의료 영상 데이터셋 전반에서 다른 증강과 비교하여 반지도학습 분할에서 어떤 성능을 보이는가?

주요 결과

레이블링된 샘플	1/100	1/50	1/20	1/8	모두 나타난 경우( Where shown )
Cityscapes Baseline	44.41	55.25	60.57	67.53	67.53
Cityscapes Cutout	47.21	57.72	61.96	67.47	67.47
Cityscapes CutMix	51.20	60.34	63.87	67.68	67.68
Pascal VOC Baseline	33.09	43.15	52.05	60.56	72.59
Pascal VOC Cutout	48.73	58.26	64.37	66.79	72.03
Pascal VOC CutMix	53.79	64.81	66.48	67.60	72.54

• 의미론적 분할은 명확한 저밀도 간 클래스 영역이 없어서 전통적 일관성 규칙화에 도전이 된다.
• 적응된 CutOut과 CutMix는 강력하고 다양한 섭동을 제공하여 자연 이미지 데이터셋에서 최첨단 반지도학습 분할 결과를 달성한다.
• Mean Teacher 프레임워크와 이러한 증강을 함께 사용하면 Cityscapes 및 확장된 Pascal VOC에서 여러 적대적(Adversarial) 및 표준 증강 기반 기준을 능가한다.
• 제안된 증강 중 CutMix가 테스트된 데이터셋에서 일반적으로 가장 큰 이득을 제공한다.
• ISIC 2017 결과는 테스트된 방법들 사이에서 반지도학습 병변 분할에 가장 신뢰할 수 있는 증강으로 CutMix를 보여준다.