[논문 리뷰] Domain Adaptation for Semantic Segmentation with Maximum Squares Loss

Minghao Chen, Hongyang Xue외 1명|arXiv (Cornell University)|2019. 09. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 39

한 줄 요약

이 논문은 자가 지도 도메인 적응에서 확률 불균형을 해결하기 위해 최대 제곱 손실(Maximum Squares Loss)을 도입하여, 대상 도메인 학습을 강화하고 어려운 샘플에 의미 있는 기울기를 제공하되 적대적 판별자를 사용하지 않습니다.

ABSTRACT

Deep neural networks for semantic segmentation always require a large number of samples with pixel-level labels, which becomes the major difficulty in their real-world applications. To reduce the labeling cost, unsupervised domain adaptation (UDA) approaches are proposed to transfer knowledge from labeled synthesized datasets to unlabeled real-world datasets. Recently, some semi-supervised learning methods have been applied to UDA and achieved state-of-the-art performance. One of the most popular approaches in semi-supervised learning is the entropy minimization method. However, when applying the entropy minimization to UDA for semantic segmentation, the gradient of the entropy is biased towards samples that are easy to transfer. To balance the gradient of well-classified target samples, we propose the maximum squares loss. Our maximum squares loss prevents the training process being dominated by easy-to-transfer samples in the target domain. Besides, we introduce the image-wise weighting ratio to alleviate the class imbalance in the unlabeled target domain. Both synthetic-to-real and cross-city adaptation experiments demonstrate the effectiveness of our proposed approach. The code is released at https://github. com/ZJULearning/MaxSquareLoss.

연구 동기 및 목표

• 실험실에서 합성 데이터에서 실제 데이터로의 무감독 도메인 적응을 가능하게 하여 라벨링 비용을 줄이려는 동기 부여.
• UDA에서 그래디언트 편향이 쉬운 샘플 쪽으로 기울어지는 엔트로피 최소화의 한계를 확인.
• 목표 도메인의 그래디언트를 균형 있게 하고 클래스 간 정렬을 개선하기 위해 최대 제곱 손실을 제안합니다.
• 이미지 수준 가중치 부여 방식과 다중 수준 자체 생성 가이드를 통해 저수준 특징 학습을 향상시키고 대상 도메인의 클래스 불균형을 addressed합니다.

제안 방법

• 대상 손실 항으로 최대 제곱 손실을 정의합니다: L_T(x_t) = -(1/2N) sum_n sum_c (p_t^{n,c})^2, 이는 쉬운/어려운 샘플의 기울기를 선형적으로 증가시켜 균형을 맞춥니다.
• 최대 제곱 손실을 최소화하는 것이 대상 예측과 균일 분포 사이의 피어슨 제곱 검정(chi-squared) 발산을 최대화하는 것과 동등하다는 것을 보이며, 클래스 차원의 분포 정렬을 촉진합니다.
• 라벨이 없는 대상 도메인의 클래스 불균형을 다루기 위해 예측된 클래스 존재를 기반으로 이미지별로 계산된 이미지별 가중치 인자를 도입합니다.
• 고수준 출력과 저수준 출력을 결합해 저수준 특징 학습을 위한 가이던스를 생성하는 다중 수준 자체 생성 가이드를 도입합니다(자체 생성 가이드).
• ResNet 기반 백본과 Deeplabv2 스타일 아키텍처를 사용하고 이미지 수준 가중치 및 다중 수준 가이던스의 유무에 따른 실용적 학습 설정 및 하이퍼파라미터를 제공합니다.

Figure 1 : In UDA, the gradient of the entropy minimization method ( $H$ ) is focused on well-classified samples in the target domain. Consequently, we propose the maximum squares loss ( $MS$ ), which is the negative sum of squared probabilities. The gradient of the maximum squares loss is linearly

실험 결과

연구 질문

• RQ1 최대 제곱 손실이 대상 클래스 간의 그래디언트를 균형 있게 하여 UDA에서 엔트로피 최소화의 편향을 해소할 수 있습니까?
• RQ2 타깃 레이블 없이도 이미지별 클래스 균형 가중치 체계가 타깃 도메인의 클래스 불균형을 개선합니까?
• RQ3 다중 수준 자체 생성 가이던스 기법이 상위 수준 예측을 활용해 저수준 특징 학습을 안내함으로써 성능을 더 향상시킵니까?

주요 결과

• 최대 제곱 손실은 대상 클래스 간 그래디언트 기여를 균등하게 조정하고, 엔트로피 최소화에 비해 어려운 샘플의 학습 효율성을 개선합니다.
• 최대 제곱 손실의 최적화가 균일 분포에 대한 피어슨 제곱 발산을 최대화하는 것과 대응되며, 도메인 간 클래스 차원의 분포 정렬을 촉진합니다.
• 이미지별 클래스 균형 가중치가 전통적인 전역 클래스 가중치에 비해 UD아 세그멘테이션의 성능을 크게 향상시킵니다.
• 다중 수준 자체 생성 가이던스를 추가하면高수준 예측을 통해 저수준 특징 학습을 안내하여 성능이 유의하게 향상됩니다.
• 합성에서 실제로의 도메인 전환(GTA5/SYNTHIA → Cityscapes) 및 도시 간 전이에서도 MaxSquare 기반 방법이 판별기 없이도 경쟁력 있거나 최신 성능을 보입니다.

Figure 2 : From GTA5 to Cityscapes, the mean of prediction probability v.s. Intersection over Union(IoU) for each target class. They are almost linearly related. Thus well-classified classes (high IoU) have larger prediction probability.