[논문 리뷰] Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering

Hui Tang, Ke Chen외 1명|arXiv (Cornell University)|2020. 03. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 24

한 줄 요약

이 논문은 구조적 정규화를 통한 딥 클러스터링(SRDC)을 제안하며, 소스 도메인 레이블을 구조적 정규화로 사용하여 딥 클러스터링을 통해 직접 타겟 데이터의 내재된 구분 능력을 드러내는 새로운 비지도 도메 적응(UDA) 방법이다. 명시적 도메인 정렬 없이도, 예측 레이블 분포와 소스 정규화된 레이블 분포 간의 KL 발산을 최소화하고, 중간 특징 클러스터링과 덜 다를 확률이 높은 소스 샘플의 소프트 선택을 통해 분류 성능을 향상시킴으로써 세 가지 UDA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) is to make predictions for unlabeled data on a target domain, given labeled data on a source domain whose distribution shifts from the target one. Mainstream UDA methods learn aligned features between the two domains, such that a classifier trained on the source features can be readily applied to the target ones. However, such a transferring strategy has a potential risk of damaging the intrinsic discrimination of target data. To alleviate this risk, we are motivated by the assumption of structural domain similarity, and propose to directly uncover the intrinsic target discrimination via discriminative clustering of target data. We constrain the clustering solutions using structural source regularization that hinges on our assumed structural domain similarity. Technically, we use a flexible framework of deep network based discriminative clustering that minimizes the KL divergence between predictive label distribution of the network and an introduced auxiliary one; replacing the auxiliary distribution with that formed by ground-truth labels of source data implements the structural source regularization via a simple strategy of joint network training. We term our proposed method as Structurally Regularized Deep Clustering (SRDC), where we also enhance target discrimination with clustering of intermediate network features, and enhance structural regularization with soft selection of less divergent source examples. Careful ablation studies show the efficacy of our proposed SRDC. Notably, with no explicit domain alignment, SRDC outperforms all existing methods on three UDA benchmarks.

연구 동기 및 목표

• 명시적 도메인 정렬에 의존하는 기존 비지도 도메 적응(UDA) 방법에서 내재된 데이터 구분 능력이 손상될 위험을 해결하기 위해.
• 소스 도메인과 타겟 도메인 간의 구조적 유사성을 가정할 때, 내재된 타겟 데이터 구조가 직접적으로 구분 가능한 클러스터링을 통해 드러날 수 있는지 탐색하기 위해.
• 특징 수준의 정렬이 필요 없이 소스 도메인 레이블을 구조적 정규화로 활용하여 타겟 클러스터링을 이끄는 방법을 개발하기 위해.
• 중간 네트워크 특징의 클러스터링을 통해 타겟 구분 능력을 향상시키고, 덜 다를 가능성이 높은 소스 예시를 소프트 선택하여 정규화를 강화하기 위해.
• 명시적 도메인 정렬 없이도 클러스터링 기반 접근 방식이 정렬 기반 SOTA 방법을 능가할 수 있음을 입증하기 위해.

제안 방법

• SRDC는 네트워크의 예측 레이블 분포와 보조 분포 간의 KL 발산을 최소화하는 유연한 딥 클러스터링 프레임워크를 사용한다.
• 소스 도메인의 진짜 레이블 분포를 보조 분포로 대체하여 구조적 소스 정규화를 구현함으로써, 소스 및 타겟 데이터와 함께 공동 학습이 가능해진다.
• 중간층 특징에 대한 클러스터링을 수행함으로써 타겟의 구분 능력이 향상되어 더 구분력 있는 표현을 포착한다.
• 특징 유사도를 기반으로 타겟 도메인과 덜 다를 가능성이 높은 소스 예시를 소프트 선택함으로써 구조적 정규화가 더욱 향상된다.
• 클러스터링 및 분류 목표를 공동 최적화함으로써 명시적 도메인 정렬 없이도 내재된 데이터 구조를 유지한다.
• 단일 네트워크를 사용하여 엔드 투 엔드로 학습하며, 핵심 최적화 목표로 KL 발산 최소화를 사용한다.

실험 결과

연구 질문

• RQ1 명시적 도메인 정렬 없이도 딥 클러스터링을 통해 내재된 타겟 데이터 구분 능력을 효과적으로 드러낼 수 있는가?
• RQ2 소스 도메인 레이블을 구조적 정규화로 사용할 경우, 비지도 도메 적응에서 타겟 클러스터링 성능이 향상되는가?
• RQ3 덜 다를 가능성이 높은 소스 예시의 소프트 선택은 구조적 정규화의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ4 최종층 특징 외에 중간층 특징의 클러스터링을 통해 타겟 도메인의 구분 능력 향상이 가능할까?
• RQ5 클러스터링 기반 UDA 접근 방식이 정렬 기반 SOTA 방법보다 정확도와 일반화 능력 측면에서 뛰어나게 성능을 냈는가?

주요 결과

• SRDC는 Office-31 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 평균 정확도 90.8%를 기록했다.
• ImageCLEF-DA에서 SRDC는 평균 정확도 90.9%를 달성했으며, 이는 이전 SOTA 방법(SymNets)을 2.0%포인트 초월한 성과이다.
• Office-Home에서 SRDC는 평균 정확도 71.3%를 기록했으며, 이는 이전 SOTA(MDD, 68.1%)를 3.2%포인트 초월한 성과이다.
• 절단 분석 결과, 중간 특징 클러스터링과 소스 예시의 소프트 선택이 성능 향상에 기여하는 것으로 확인되었다.
• SRDC는 어떠한 명시적 도메인 정렬도 사용하지 않았으며, 이는 내재된 데이터 구조가 UDA에서 효과적으로 활용될 수 있음을 보여준다.
• Office-31에서 모든 도메인 전이 설정(A→W, D→W, W→D)에서 일관된 향상이 관찰되어 강력한 일반화 능력을 보였다.