[논문 리뷰] CSCL: Critical Semantic-Consistent Learning for Unsupervised Domain Adaptation

Jiahua Dong, Yang Cong외 3명|arXiv (Cornell University)|2020. 08. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 4

한 줄 요약

이 논문은 영역 간 분포 이탈(영역별 및 카테고리별)을 해결하기 위해 의미 분할을 위한 새로운 비지도 도메인 적응 프레임워크인 CSCL을 제안한다. 이는 강화학습 기반의 임계 전이 메커니즘을 사용하여 이행 가능한 특징을 우선시하고 비이행 가능한 특징을 억제하며, 대칭적인 소프트 분산 손실을 활용한 신뢰도 유도 가짜 레이블 생성기로 카테고리별 분포를 정렬함으로써, 다양한 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation without consuming annotation process for unlabeled target data attracts appealing interests in semantic segmentation. However, 1) existing methods neglect that not all semantic representations across domains are transferable, which cripples domain-wise transfer with untransferable knowledge; 2) they fail to narrow category-wise distribution shift due to category-agnostic feature alignment. To address above challenges, we develop a new Critical Semantic-Consistent Learning (CSCL) model, which mitigates the discrepancy of both domain-wise and category-wise distributions. Specifically, a critical transfer based adversarial framework is designed to highlight transferable domain-wise knowledge while neglecting untransferable knowledge. Transferability-critic guides transferability-quantizer to maximize positive transfer gain under reinforcement learning manner, although negative transfer of untransferable knowledge occurs. Meanwhile, with the help of confidence-guided pseudo labels generator of target samples, a symmetric soft divergence loss is presented to explore inter-class relationships and facilitate category-wise distribution alignment. Experiments on several datasets demonstrate the superiority of our model.

연구 동기 및 목표

• 비지도 도메인 적응에서 영역 간 이행 불가능한 의미 표현으로 인한 악영향(부정적 이행)을 해결하기 위해.
• 대상 도메인 레이블이 부재함으로써 발생하는 카테고리별 분포 이탈을 완화하기 위해.
• 마진 및 조건부 분포를 동시에 정렬함으로써 도메인 불변 표현 학습을 향상시키기 위해.
• 불필요하거나 해로운 특징을 제거하면서 높은 가치의 의미 지식만을 선택적으로 이행하는 방법을 개발하기 위해.

제안 방법

• 이행 가능성 측정기(transferability-quantizer)가 고이행 점수 특징을 식별하고, 이행 가능성 평가기(transferability-critic)가 이행 과정의 품질을 평가하는 임계 전이 기반의 적대적 프레임워크를 설계함.
• 이행 가능성 측정기와 평가기를 강화학습 프레임워크 하에서 공동으로 학습하여 잠재적인 부정적 이행에도 불구하고 긍정적 이행 수익을 극대화함.
• 오차 또는 모호한 예측으로 인한 노이즈를 줄이기 위해, 대상 샘플에 대한 소프트 가짜 레이블을 생성하는 신뢰도 유도 가짜 레이블 생성기 도입.
• 카테고리별 조건부 분포 간 격차를 최소화함으로써 도메인 간 상호 클래스 관계를 정렬하기 위해 대칭적인 소프트 분산 손실을 제안함.
• 적대적 및 대비 학습 구성 요소를 통해 도메인 간 마진 분포 정렬과 카테고리 간 조건부 분포 정렬을 공동 최적화함.

실험 결과

연구 질문

• RQ1 임계 전이 메커니즘이 비지도 도메인 적응에서 이행 가능한 의미 특징을 효과적으로 식별하고 우선순위를 정하면서도 이행 불가능한 지식을 억제할 수 있는가?
• RQ2 대상 도메인의 진정한 레이블에 의존하지 않고 카테고리별 분포 이탈은 어떻게 감소시킬 수 있는가?
• RQ3 신뢰도 인식 소프트 가짜 레이블을 통합할 경우 특징 정렬 및 분할 성능 향상 정도는 어느 정도인가?
• RQ4 강화학습을 적대적 학습과 통합함으로써 학습된 표현의 강건성과 이행 가능성은 어떻게 향상되는가?

주요 결과

• CSCL은 Cityscapes→NTHU, Rio, Tokyo, Taipei 등 여러 비지도 도메인 적응 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 이는 이전 방법 대비 최대 11.9% 향상된 성과이다.
• Cityscapes→NTHU 작업에서 CSCL은 LtA, MSL, SSF, CBST 등 모든 베이스라인보다 전 도시에서 우수한 성능을 보였다.
• 절단 실험 결과, 임계 전이 메커니즘과 대칭 소프트 분산 손실 모두 성능 향상에 기여함을 확인하였으며, 특히 후자는 클래스 간 특징의 뭉치 정도를 향상시켰다.
• 신뢰도 유도 가짜 레이블 생성기가 잘못된 예측의 영향을 효과적으로 줄여 더 안정적이고 정확한 분포 정렬을 이끌어냈다.
• Taipei 벤치마크에서 모델은 평균 IoU 54.8%를 기록하여 이전 SOTA인 SSF(51.4%) 및 CBST(51.0%)를 초월하였다.
• 대칭 소프트 분산 손실은 카테고리별 분포 이탈을 성공적으로 감소시켰으며, 특징 공간에서 동일 클래스 특징의 뭉치가 더 타이트해진 것으로 나타났다.