[논문 리뷰] Semi-Supervised Semantic Segmentation with High- and Low-level Consistency

Sudhanshu Mittal, Maxim Tatarchenko외 1명|arXiv (Cornell University)|2019. 08. 15.

Advanced Image and Video Retrieval Techniques인용 수 8

한 줄 요약

이 논문은 경계 정밀화를 위한 GAN 기반 생성기와 전역 클래스 일관성을 위한 준감독 다중라벨 분류 브랜치를 사용하여 저수준 및 고수준 일관성을 동시에 최적화하는 双브랜치 준감독 세분화 프레임워크를 제안한다. 이는 PASCAL VOC 2012에서 라벨이 2% 밖에 없는 조건에서도 기존 방법보다 11% 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The ability to understand visual information from limited labeled data is an important aspect of machine learning. While image-level classification has been extensively studied in a semi-supervised setting, dense pixel-level classification with limited data has only drawn attention recently. In this work, we propose an approach for semi-supervised semantic segmentation that learns from limited pixel-wise annotated samples while exploiting additional annotation-free images. It uses two network branches that link semi-supervised classification with semi-supervised segmentation including self-training. The dual-branch approach reduces both the low-level and the high-level artifacts typical when training with few labels. The approach attains significant improvement over existing methods, especially when trained with very few labeled samples. On several standard benchmarks - PASCAL VOC 2012, PASCAL-Context, and Cityscapes - the approach achieves new state-of-the-art in semi-supervised learning.

연구 동기 및 목표

• 큰 규모의 라벨 없음 데이터를 활용하여 픽셀 단위의 레이블이 제한된 상황에서 세분화 문제를 해결하고자 한다.
• 세분화 예측에서 정확하지 않은 경계나 일관성 없는 표면과 같은 저수준 잡음 문제를 줄이고자 한다.
• 전역 클래스 할당 오류와 같은 고수준 오류를 다중라벨 일관성으로 완화하고자 한다.
• 자기 학습과 GAN 기반 정밀화를 통해 낮은 데이터 환경에서의 일반화 능력과 강인성을 향상시키고자 한다.
• PASCAL VOC 2012, PASCAL-Context, Cityscapes를 포함한 여러 벤치마크에서의 효과성을 입증하고자 한다.

제안 방법

• GAN 기반 브랜치(s4GAN)는 세분화 네트워크를 생성기로 사용하고, 특징 매칭 손실을 통해 표준 GAN 손실이 아닌 저수준 세부 정보를 정밀화하는 디스커미네이터를 활용한다.
• 라벨이 없는 이미지에서 디스커미네이터의 신뢰도 점수를 기반으로 고품질의 가짜 레이블을 선택하기 위해 자기 학습을 적용한다.
• 별도의 준감독 다중라벨 분류 브랜치(MLMT)는 앙상블 기반 준감독 학습을 통해 이미지 수준의 클래스 존재 여부를 예측하며, 예측의 전역 일관성을 강화한다.
• 두 브랜치는 함께 훈련되며, MLMT 브랜치는 잘못된 양성 결과를 줄이고 클래스 수준의 일관성을 향상시킨다.
• 훈련 안정성을 높이고 디스커미네이터의 과적합을 방지하기 위해 특징 매칭 손실을 사용한다.
• 약한 이미지 수준 레이블이 가용할 경우 이를 통합할 수 있으며, 이는 CRF 후처리 없이 성능 향상을 이끌어낸다.

실험 결과

연구 질문

• RQ1 이중 브랜치 아키텍처는 준감독 세분화에서 저수준 및 고수준 오류를 효과적으로 줄일 수 있는가?
• RQ2 디스커미네이터 점수 기반 자기 학습이 낮은 데이터 환경에서 가짜 레이블 품질을 어떻게 향상시키는가?
• RQ3 준감독 학습을 통한 다중라벨 분류가 세분화 출력의 전역 일관성에 얼마나 기여하는가?
• RQ4 학습 데이터의 2~5%만 완전히 레이블이 되어 있을 때, 제안된 방법이 최신 기술 수준 방법과 어떻게 비교되는가?
• RQ5 PASCAL VOC, PASCAL-Context, Cityscapes와 같은 다양한 데이터셋에서 최소한의 감독으로 일반화가 가능한가?

주요 결과

• PASCAL VOC 2012에서 새로운 최신 기술 수준 성능를 달성하였으며, 라벨 데이터가 2%에 불과한 조건에서 기존 방법보다 11% 향상되었다.
• PASCAL VOC 2012에서 5%의 라벨 데이터를 사용할 경우, 추가로 이미지 수준 레이블을 활용해 72.9 mIoU를 기록하였으며, 이는 이전 최신 기술 수준보다 5.2% 향상된 성능이다.
• MLMT 브랜치만으로도 s4GAN 전용 기반 모델 대비 성능이 2% 향상되어 전역 클래스 일관성의 가치를 입증한다.
• 자기 학습을 통해 디스커미네이터 출력의 안정성이 향상되었으며, 그 동적 경향은 그림 11에서 확인할 수 있으며 과적합을 방지한다.
• ROC 곡선(그림 12)에 따르면, MLMT 기반 분류기는 표준 CNN 기반 분류기보다 잘못된 양성 결과 비율이 낮으며, 특히 처음부터 학습을 시작할 경우 두드러진 성능 향상을 보였다.
• 이전 방법들과 달리 CRF 후처리 없이도 뛰어난 성능를 달성하였으며, Cityscapes 및 PASCAL-Context를 포함한 여러 데이터셋에 대해 잘 일반화된다.