[논문 리뷰] n-CPS: Generalising Cross Pseudo Supervision to n Networks for Semi-Supervised Semantic Segmentation

Dominik Filipiak, Piotr Tempczyk외 1명|arXiv (Cornell University)|2021. 12. 14.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 반감성 세분화를 위한 크로스 가짜 감독(CPS)의 일반화인 n-CPS를 제안한다. n-CPS는 상호 일관성 정규화와 one-hot 인코딩 변형을 통해 n개의 신경망을 동시에 훈련시킨다. 추론 시 모든 n개의 네트워크를 앙상블하여 Pascal VOC 2012(1/16에서 1/2의 감독 제약 조건) 및 Cityscapes(1/16)에서 기존 최고 성능을 갱신하며, CutMix를 결합했을 때 기존 방법들을 능가한다.

ABSTRACT

We present n-CPS - a generalisation of the recent state-of-the-art cross pseudo supervision (CPS) approach for the task of semi-supervised semantic segmentation. In n-CPS, there are n simultaneously trained subnetworks that learn from each other through one-hot encoding perturbation and consistency regularisation. We also show that ensembling techniques applied to subnetworks outputs can significantly improve the performance. To the best of our knowledge, n-CPS paired with CutMix outperforms CPS and sets the new state-of-the-art for Pascal VOC 2012 with (1/16, 1/8, 1/4, and 1/2 supervised regimes) and Cityscapes (1/16 supervised).

연구 동기 및 목표

• 훈련 후 두 번째 네트워크가 폐기되는 이중 네트워크 CPS 설정에서 추론 시 단일 네트워크만을 사용하는 비효율성을 해결하기 위해.
• CPS 프레임워크를 두 개 이상의 네트워크로 일반화하여 다중 네트워크 훈련을 통해 일관성 정규화와 모델의 강건성을 향상시키기 위해.
• 크로스 가짜 감독으로 훈련된 다수의 서브넷을 앙상블하는 것이 단일 네트워크 추론보다 더 나은 추론 성능을 낼 수 있는지 탐색하기 위해.
• Pascal VOC 2012와 Cityscapes를 포함한 다양한 데이터셋 및 감독 데이터 제약 조건에서 n-CPS의 효과성을 평가하기 위해.
• CutMix와 같은 데이터 증강 기법과 n-CPS를 조합하여 성능 향상 여부를 조사하기 위해.

제안 방법

• n-CPS는 동일한 아키텍처를 공유하지만 다른 가중치 초기화를 가지는 n개의 서브넷을 훈련시키며, 각각 입력 이미지에 대한 클래스 확률 맵을 생성한다.
• 일관성 정규화는 한 네트워크의 예측과 다른 네트워크의 one-hot 인코딩 변형된 예측 간의 교차 엔트로피 손실을 최소화하여 구현된다(pmax).
• CPS 손실은 각 네트워크의 예측과 나머지 모든 네트워크의 변형된 예측 간 교차 엔트로피 손실의 평균으로 계산된다.
• 감독 손실은 라벨이 부여된 데이터에 표준 교차 엔트로피를 사용하여 계산되며, 비라벨 데이터는 일관성 손실 계산에 사용된다.
• 앙상블 추론 전략은 모든 n개의 네트워크 예측을 투표 방식으로 통합하여 최종 세분화 정확도를 향상시킨다.
• CutMix 증강과의 조합을 통해 메서드가 더욱 향상되어 비라벨 데이터에 대한 일반화 능력과 강건성이 향상된다.

실험 결과

연구 질문

• RQ1 크로스 가짜 감독을 통해 두 개 이상의 네트워크를 훈련시키는 것이 반감성 세분화 성능 향상에 기여하는가?
• RQ2 서로 다른 네트워크 간 상호 일관성 정규화로 훈련된 다수의 네트워크 예측을 앙상블하는 것이 단일 네트워크 추론보다 더 높은 추론 정확도를 낼 수 있는가?
• RQ3 n ≥ 3인 경우, 다양한 데이터 제약 조건에서 n-CPS의 성능이 네트워크 수 증가에 따라 어떻게 변화하는가?
• RQ4 n-CPS를 CutMix 증강과 조합하면 Pascal VOC 2012 및 Cityscapes와 같은 벤치마크 데이터셋에서 성능 향상이 추가로 이루어지는가?
• RQ5 낮은 감독 데이터 제약 조건에서 기존 최고 성능 방법인 CPS, Mean Teacher, ReCo와 비교해 n-CPS는 어떻게 성능을 내는가?

주요 결과

• n=3인 n-CPS와 CutMix를 조합하면, 1/16 감독 데이터 조건에서 Pascal VOC 2012에서 새로운 SOTA mIoU 79.2%를 달성한다.
• Pascal VOC 2012에서, CutMix와 결합했을 때 n-CPS는 기존 SOTA인 CPS 방법보다 1.2% 높은 mIoU 성능을 기록한다.
• Pascal VOC 2012의 1/8, 1/4, 1/2 감독 제약 조건에서, ResNet-50 및 ResNet-101 설정 전반에 걸쳐 n-CPS는 CPS보다 일관되게 높은 mIoU 성능을 기록한다.
• Cityscapes에서 1/16 감독 데이터 조건에서, n-CPS와 CutMix 조합은 새로운 SOTA mIoU 73.8%를 달성하여 이전 방법들을 초월한다.
• 제거 분석 결과, 다중 네트워크 일관성 정규화와 앙상블 추론 모두 성능 향상에 기여하는 것으로 확인된다.
• 모델은 모든 테스트된 데이터 제약 조건과 백본 아키텍처(ResNet-50 및 ResNet-101)에서 뛰어난 일반화 능력을 보이며 일관된 성능 향상을 보인다.