[논문 리뷰] Regularizing Proxies with Multi-Adversarial Training for Unsupervised Domain-Adaptive Semantic Segmentation

Tong Shen, Dong Gong외 3명|arXiv (Cornell University)|2019. 07. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 17

한 줄 요약

이 논문은 의미 분할에서 비지도 도메인 적응을 위한 고품질, 클래스 균형 잡힌 프록시 레이블을 생성하기 위해 다중 적대적 훈련 방법을 제안한다. 두 개의 판별기로부터 유도된 적대적 신뢰도를 활용하고, 신뢰도 재조정 및 클래스 균형 재가중을 적용함으로써 프록시 품질을 향상시킨다—특히 소규모 카테고리에서 유의미하게 향상되며, 타겟 도메인의 진짜 레이블이 필요 없이도 우수한 도메인 적응 성능을 달성한다.

ABSTRACT

Training a semantic segmentation model requires a large amount of pixel-level annotation, hampering its application at scale. With computer graphics, we can generate almost unlimited training data with precise annotation. However,a deep model trained with synthetic data usually cannot directly generalize well to realistic images due to domain shift. It has been observed that highly confident labels for the unlabeled real images may be predicted relying on the labeled synthetic data. To tackle the unsupervised domain adaptation problem, we explore the possibilities to generate high-quality labels as proxy labels to supervise the training on target data. Specifically, we propose a novel proxy-based method using multi-adversarial training. We first train the model using synthetic data (source domain). Multiple discriminators are used to align the features be-tween the source and target domain (real images) at different levels. Then we focus on obtaining and selecting high-quality proxy labels by incorporating both the confidence of the class predictor and that from the adversarial discriminators. Our discriminators not only work as a regularizer to encourage feature alignment but also provide an alternative confidence measure for generating proxy labels. Relying on the generated high-quality proxies, our model can be trained in a "supervised manner" on the target do-main. On two major tasks, GTA5->Cityscapes and SYNTHIA->Cityscapes, our method achieves state-of-the-art results, outperforming the previous by a large margin.

연구 동기 및 목표

• 의미 분할에서 비지도 도메인 적응을 위한 신뢰할 수 있는 프록시 레이블을 생성하는 데 도전하는 것—특히 소규모 및 도메인 이동이 발생한 카테고리에서.
• 다중 판별기로부터의 적대적 신뢰도를 통합하여 프록시 레이블 품질을 향상시키는 것.
• 예측 신뢰도와 적대적 불확실성 기반의 동적 재가중을 통해 프록시 레이블의 클래스 분포를 균형 잡는 것.
• 생성된 프록시를 사용하여 타겟 도메인 데이터에서 효과적인 자기지도 학습을 가능하게 하여 도메인 이동을 줄이는 것.
• 타겟 도메인 레이블이 제공되지 않더라도 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 이 방법은 분할 네트워크의 예측 점수맵과 두 개의 판별기로부터 유도된 적대적 신뢰도를 사용하여 프록시 레이블을 생성한다.
• 적대적 신뢰도는 두 판별기의 출력을 최소-최대 정규화한 후 평균을 취하여 계산되며, 각 공간 위치에 대한 불확실성 추정치를 제공한다.
• 신뢰도 재조정 단계에서는 모든 적대적 신뢰도 값에서 백분위수 기준 임계값 $ t_1 $ 를 도출하여 저신뢰도 영역을 필터링한다.
• 각 클래스별로 고적대적 신뢰도 영역에서만 예측 신뢰도를 수집하고, 각 클래스별로 두 번째 백분위수 기준 임계값 $ t_2^{(l)} $ 를 계산한다.
• 점수맵은 $ t_2^{(l)} $ 로 나누어 재가중되며, 최종 프록시 레이블은 재가중된 신뢰도와 적대적 신뢰도가 모두 임계값을 초과하는 영역에서만 argmax를 통해 생성된다.
• 프록시 생성 과정은 본문 논문의 식 (5)와 동일하며, 이는 클래스 균형 잡힘과 고신뢰도 예측을 보장한다.

실험 결과

연구 질문

• RQ1 다중 판별기로부터의 적대적 신뢰도는 의미 분할에서 비지도 도메인 적응을 위한 프록시 레이블 품질을 향상시키는가?
• RQ2 신뢰도 재조정은 특히 소규모 카테고리에서 프록시 레이블 신뢰도를 어떻게 향상시키는가?
• RQ3 클래스 균형 재가중은 의미 클래스 간 프록시 레이블 분포에 얼마나 기여하는가?
• RQ4 제안된 방법은 기준 프록시 생성 전략에 비해 도메인 적응 성능에서 뛰어나게 성능을 발휘하는가?
• RQ5 고품질 프록시 레이블은 진짜 레이블이 없는 타겟 도메인에서 효과적인 자기지도 학습을 가능하게 하는가?

주요 결과

• 제안된 방법은 특히 '차량'과 같은 소규모 카테고리에서 표준 프록시 생성 방법보다 훨씬 높은 품질의 프록시 레이블을 생성한다—이러한 카테고리는 일반적으로 표준 프록시 생성에서 잘 분할되지 않는 경향이 있다.
• 시각화 결과에서 적대적 신뢰도를 반영한 프록시 레이블은 도메인 이동이 심하고 신뢰도가 낮은 영역에서도 더 선명하고 정확한 경계를 보인다.
• 다중 적대적 훈련과 신뢰도 재조정을 통해 프록시 레이블의 노이즈와 일관성 없는 예측이 감소하여 더 신뢰할 수 있는 자기지도 학습이 가능해진다.
• 적용 후 모델은 타겟 도메인에서 고품질의 의미 분할 결과를 달성하며, 적대적 신뢰도 유무에 따른 정성적 비교에서 이를 확인할 수 있다.
• 여러 타겟 도메인과 데이터셋에 걸쳐 프록시 레이블 품질과 후속 분할 성능에서 일관된 향상이 관찰된다.
• 절단 실험 결과에서 적대적 신뢰도와 재가중 기법이 비지도 도메인 적응에서 최신 기술 수준의 성능을 달성하기 위해 필수적인 구성 요소임을 확인하였다.