[논문 리뷰] Taking A Closer Look at Domain Shift: Category-level Adversaries for Semantics Consistent Domain Adaptation

Yawei Luo, Liang Zheng외 3명|arXiv (Cornell University)|2018. 09. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 43

한 줄 요약

본 논문은 CLAN을 제안한다. 이는 의미 체분할에서 무감독 도메인 적응을 위한 범주 수준의 적대적 네트워크로, 지역적 의미 정렬에 따라 피처별로 적대적 손실을 적응적으로 가중시켜 부정적 전이(negative transfer)를 줄인다.

ABSTRACT

We consider the problem of unsupervised domain adaptation in semantic segmentation. The key in this campaign consists in reducing the domain shift, i.e., enforcing the data distributions of the two domains to be similar. A popular strategy is to align the marginal distribution in the feature space through adversarial learning. However, this global alignment strategy does not consider the local category-level feature distribution. A possible consequence of the global movement is that some categories which are originally well aligned between the source and target may be incorrectly mapped. To address this problem, this paper introduces a category-level adversarial network, aiming to enforce local semantic consistency during the trend of global alignment. Our idea is to take a close look at the category-level data distribution and align each class with an adaptive adversarial loss. Specifically, we reduce the weight of the adversarial loss for category-level aligned features while increasing the adversarial force for those poorly aligned. In this process, we decide how well a feature is category-level aligned between source and target by a co-training approach. In two domain adaptation tasks, i.e., GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, we validate that the proposed method matches the state of the art in segmentation accuracy.

연구 동기 및 목표

• 의미 체분할을 위한 무감독 도메인 적응을 고취하고, 전역 분포 정렬으로 인한 의미 불일치를 해결한다.
• 잘 정렬된 클래스를 보호하고 잘 정렬되지 않은 클래스를 강조하기 위해 범주 수준의 적대적 학습을 제안한다.
• 피처별 의미 정렬을 추정하고 그에 따라 적대적 가중치를 조정하기 위해 동훈련(co-training)을 활용한다.
• GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 최첨단 또는 경쟁력 있는 성능을 입증한다.

제안 방법

• 피처 추출기 E, 두 반복 분류기 C1과 C2, 그리고 판별기 D로 구성된 CLAN 아키텍처를 도입한다.
• C1과 C2 간의 다양성을 가중치 차이 손실과 의미 일치를 통해 보장하기 위해 동훈련을 사용한다.
• C1와 C2의 불일치에서 퍼 픽셀 단위의 지역 정렬 점수를 계산하여 D의 적대적 손실을 조정한다.
• 각 픽셀에서 기본 손실에 (lambda_local * M(p1,p2) + epsilon)를 곱하는 적응형 적대적 손실을 적용한다. 여기서 M은 불일치 측정치이며(예: 코사인 거리).
• 소스 데이터에 대한 표준 세분화 손실, 분류기를 다양하게 유지하기 위한 가중치 차이 손실, 그리고 적응 가중치를 갖는 적대 손실로 학습한다.
• 범주 수준 정렬이 잘 정렬된 클래스의 보존을 개선하고 드문 클래스의 처리도 향상시킨다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 전역 한계 분포 정렬과 비교했을 때 범주 수준의 적응적 적대 학습이 도메인 시프트 하에서 의미 체분할을 개선할 수 있는가?
• RQ2 동훈련으로 도출된 피처별 정렬이 부정적 전이를 줄이기 위해 선택적으로 적대적 학습의 강화를 가능하게 하는가?
• RQ3 피처별로 적응적으로 픽셀 단위의 가중치를 부여하는 방식이 도메인 적응에서 드문 클래스와 일반 클래스의 성능에 어떤 영향을 미치는가?
• RQ4 GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 CLAN이 최첨단 UDA 방법과 경쟁적이거나 우수한가?

주요 결과

• CLAN은 백본 전반에서 소스만 사용한 분할보다 유의하게 성능이 향상되며, 이전 적대적 방법과 비교해 mIoU를 개선한다.
• CLAN은 GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 경쟁력 있거나 최첨단 결과를 보이며, 기둥(poles)과 교통 표지판과 같은 드문 클래스에서 두드러진 이득이 있다.
• 적응 가중치는 잘 정렬된 카테고리 특징을 보존하고 잘 정렬되지 않은 카테고리에 적대적 압력을 집중시켜 부정적 전이를 줄인다.
• 동훈련은 명확하게 구분되면서도 의미적으로 일관된 특징 표현을 촉진해 도메인 불변 학습을 돕는다.
• 특징 분포 분석은 CLAN이 TAN보다 더 작은 범주 수준의 결합 분포 거리를 달성하며 특히 덜 빈번한 클래스에서 그렇다.