[논문 리뷰] A Three-Stage Self-Training Framework for Semi-Supervised Semantic Segmentation

Rihuan Ke, Angelica I. Avilés-Rivero외 3명|arXiv (Cornell University)|2020. 12. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 7

한 줄 요약

이 논문은 다중 작업 학습과 일致성 정규화를 통해 가짜 마스크 품질을 향상시키는 삼단계 자기학습 프레임워크를 제안한다. 공유 백본과 작업별 헤드를 사용하여 비라벨 데이터의 예측을 반복적으로 개선함으로써, 소량의 라벨 데이터로도 최신 기술 수준의 성능을 달성하며, 고비용의 픽셀 수준 라벨링에 대한 의존도를 크게 감소시킨다.

ABSTRACT

Semantic segmentation has been widely investigated in the community, in which the state of the art techniques are based on supervised models. Those models have reported unprecedented performance at the cost of requiring a large set of high quality segmentation masks. To obtain such annotations is highly expensive and time consuming, in particular, in semantic segmentation where pixel-level annotations are required. In this work, we address this problem by proposing a holistic solution framed as a three-stage self-training framework for semi-supervised semantic segmentation. The key idea of our technique is the extraction of the pseudo-masks statistical information to decrease uncertainty in the predicted probability whilst enforcing segmentation consistency in a multi-task fashion. We achieve this through a three-stage solution. Firstly, we train a segmentation network to produce rough pseudo-masks which predicted probability is highly uncertain. Secondly, we then decrease the uncertainty of the pseudo-masks using a multi-task model that enforces consistency whilst exploiting the rich statistical information of the data. We compare our approach with existing methods for semi-supervised semantic segmentation and demonstrate its state-of-the-art performance with extensive experiments.

연구 동기 및 목표

• 세분화에서 픽셀 수준의 라벨링이 높은 비용과 부족함을 겪는 문제를 해결하기 위해, 제한된 라벨 데이터와 풍부한 비라벨 데이터에서 효과적으로 학습할 수 있도록 하는 것.
• 비라벨 데이터에서 생성된 가짜 마스크의 불확실성을 종합적인 다중 작업 학습 접근법을 통해 줄이는 것.
• 예측의 일致성 강화와 비라벨 데이터의 통계적 패턴 활용을 통해 소량의 데이터 환경에서의 세분화 성능을 향상시키는 것.
• 통합된 훈련 프레임워크 내에서 가짜 마스크 정련과 세분화 일치성을 통합하여 기존 반감독 방법을 능가하는 것.

제안 방법

• Stage 1은 소량의 라벨 데이터로 세분화 네트워크를 훈련시켜 비라벨 이미지에 대한 初기이고 rough한 가짜 마스크를 생성한다.
• Stage 2는 세분화 작업이 일치성 손실에 의해 정규화되고, 별도의 보조 작업이 가짜 마스크 통계를 모델링하여 예측 신뢰도를 향상시키는 다중 작업 모델을 적용한다.
• Stage 2의 보조 작업는 conv4까지 공유 백본과 가짜 마스크 통계를 위한 별도의 헤드를 사용하며, 노이즈가 많은 예측에 과적합되지 않도록 하면서도 불확실성을 감소시킨다.
• Stage 3는 Stage 2에서 정련된 가짜 마스크와 원래의 라벨 데이터를 사용하여 세분화 네트워크를 재훈련하며, 최종 네트워크는 이전 단계들과 가중치를 공유하여 일致성을 유지한다.
• 모든 단계에서 공유 인코더(ResNet-50 기반)를 사용하고, 세분화 및 가짜 마스크 통계를 위한 작업별 헤드를 적용하여 추가 파라미터를 최소화한다.
• 훈련 중 일치성 정규화는 입력을 증강하고 동일한 이미지에 대해 다양한 변환에 적용된 예측 간의 일致성을 강제함으로써 적용된다.

실험 결과

연구 질문

• RQ1 삼단계 자기학습 프레임워크가 반감독 세분화에서 가짜 마스크 품질과 세분화 성능을 향상시킬 수 있는가?
• RQ2 가짜 마스크 통계를 모델링하는 다중 작업 학습이 예측 일치성 향상과 불확실성 감소에 어떻게 기여하는가?
• RQ3 일치성 정규화와 공유 특징 학습이 소량의 라벨 데이터로 성능 향상에 얼마나 기여하는가?
• RQ4 보조 작업이 세분화 예측을 직접적으로 감독하지 않더라도 가짜 마스크 정련에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 프레임워크는 소량의 라벨 데이터로도 Pascal VOC와 Cityscapes 벤치마크에서 반감독 설정에서 최신 기술 수준의 성능을 달성한다.
• 제거 실험을 통해 다중 작업 구성 요소가 성능 향상에 크게 기여함을 확인하였으며, 세분화와 가짜 마스크 통계를 함께 학습하는 것이 가치 있음을 입증한다.
• 반복적인 정련을 통해 가짜 마스크의 예측 불확실성이 감소하여, 후속 단계에서 더 신뢰할 수 있는 가짜 라벨을 생성한다.
• 표준 모델 대비 추가 파라미터 증가 폭이 작아, 다중 작업 학습임에도 효율성을 유지함을 보여준다.
• 데이터 증강에 걸쳐 일치성 정규화를 적용함으로써 비라벨 데이터에 대한 더 견고하고 일반화된 예측이 가능해졌다.