[논문 리뷰] Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation

Yabin Zhang, Bin Deng외 2명|arXiv (Cornell University)|2020. 07. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 11

한 줄 요약

이 논문은 비지도 도메인 적응을 위한 새로운 준지도 학습 방법인 A²LP를 제안한다. A²LP는 비라벨링된 타겟 데이터로부터 고신뢰도 가상 인스턴스(증강된 앵커)를 생성하여 레이블 전파 성능을 향상시킨다. 반복적으로 A²LP를 사용해 가짜 레이블 생성과 도메인 불변 특징 학습을 수행함으로써, Office-31, ImageCLEF-DA, VisDA-2017 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 표준 레이블 전파 방법을 크게 능가하고 최신 UDA 방법의 성능을 향상시킨다.

ABSTRACT

Motivated by the problem relatedness between unsupervised domain adaptation (UDA) and semi-supervised learning (SSL), many state-of-the-art UDA methods adopt SSL principles (e.g., the cluster assumption) as their learning ingredients. However, they tend to overlook the very domain-shift nature of UDA. In this work, we take a step further to study the proper extensions of SSL techniques for UDA. Taking the algorithm of label propagation (LP) as an example, we analyze the challenges of adopting LP to UDA and theoretically analyze the conditions of affinity graph/matrix construction in order to achieve better propagation of true labels to unlabeled instances. Our analysis suggests a new algorithm of Label Propagation with Augmented Anchors (A$^2$LP), which could potentially improve LP via generation of unlabeled virtual instances (i.e., the augmented anchors) with high-confidence label predictions. To make the proposed A$^2$LP useful for UDA, we propose empirical schemes to generate such virtual instances. The proposed schemes also tackle the domain-shift challenge of UDA by alternating between pseudo labeling via A$^2$LP and domain-invariant feature learning. Experiments show that such a simple SSL extension improves over representative UDA methods of domain-invariant feature learning, and could empower two state-of-the-art methods on benchmark UDA datasets. Our results show the value of further investigation on SSL techniques for UDA problems.

연구 동기 및 목표

• 표준 준지도 학습(SSL) 방법 중 레이블 전파(LP)를 비지도 도메인 적응(UDA)에 직접 적용할 때 도메인 이동으로 인해 성능이 떨어지는 문제를 해결하기 위해.
• 도메인 이동 상황에서 LP의 유사도 그래프가 진정된 레이블을 비라벨 타겟 인스턴스로 효과적으로 전파할 수 있는 조건을 분석하기 위해.
• 비라벨 타겟 데이터로부터 고신뢰도 가상 인스턴스(증강된 앵커)를 생성함으로써 LP를 향상시키는 새로운 방법 A²LP를 제안하기 위해.
• A²LP를 도메인 불변 특징 학습과 통합하여 반복적 프레임워크를 구성함으로써 가짜 레이블 품질과 모델 일반화 능력을 향상시키기 위해.
• A²LP가 표준 LP를 크게 능가하고 UDA의 강력한 베이스라인으로서의 역할을 할 수 있음을 경험적으로 검증하기 위해.

제안 방법

• A²LP는 비라벨 타겟 인스턴스의 가중 조합을 계산하여 가상의 비라벨 인스턴스(증강된 앵커)를 생성한다. 이 가중치는 소프트 클러스터 할당의 엔트로피에서 유도된다.
• 낮은 엔트로피 예측은 더 높은 신뢰도를 의미하므로, 엔트로피가 낮은 인스턴스는 가상 인스턴스 생성 과정에서 더 높은 가중치를 부여받는다.
• 실제 및 증강된 인스턴스의 특징을 사용하여 레이블 전파를 위한 유사도 행렬을 구성함으로써 레이블 전파의 신뢰성을 향상시킨다.
• 이 방법은 두 단계를 번갈아 적용한다: (1) A²LP를 사용해 타겟 데이터에 대해 고품질의 가짜 레이블을 생성하고, (2) 가짜 레이블이 부여된 타겟 데이터와 라벨이 부여된 소스 데이터를 사용해 도메인 불변 특징 추출기를 훈련시킨다.
• 이러한 반복적 개선 루프를 통해 점차 정확도가 향상되는 도메인 불변 표현을 활용함으로써 가짜 레이블의 품질을 향상시킨다.
• 이 방법은 표준 UDA 벤치마크에 적용되며, MSTN 및 CAN과 같은 최신 기술 방법에 통합되어 원래의 가짜 레이블 생성기와 교체된다.

실험 결과

연구 질문

• RQ1 도메인 이동 상황에서 레이블 전파가 비라벨 타겟 인스턴스에 진정된 레이블을 효과적으로 전파할 수 있는 조건는 무엇인가?
• RQ2 UDA 환경에서 레이블 전파의 신뢰성을 향상시키기 위해 어떻게 가상 인스턴스를 생성할 수 있는가?
• RQ3 A²LP를 도메인 불변 특징 학습과 통합하면 여러 UDA 벤치마크에서 일관된 성능 향상이 이루어지는가?
• RQ4 A²LP는 표준 레이블 전파를 능가하고 UDA의 강력한 기준 성능을 제공하는가?
• RQ5 간단한 통합을 통해 A²LP를 기존 최신 기술 수준의 UDA 방법에 적용하여 성능 향상을 이룰 수 있는가?

주요 결과

• A²LP는 세 가지 벤치마크에서 표준 레이블 전파를 크게 능가한다: Office-31 (+4.3% 정확도), ImageCLEF-DA (+4.3%), VisDA-2017 (+4.8%).
• MSTN에 통합했을 때, A²LP는 ImageCLEF-DA에서 정확도를 88.2%에서 89.4%로 향상시켜 새로운 최신 기술 수준을 달성했다.
• CAN에 적용했을 때, A²LP는 ImageCLEF-DA에서 정확도를 89.0%에서 90.3%로 향상시켜 그 효과를 추가로 확인했다.
• VisDA-2017에서 A²LP는 ResNet-50를 사용해 82.7%의 정확도를 기록했고, ResNet-101을 사용해 87.6%의 정확도를 달성하여 원래의 CAN 방법을 능가했다.
• 제거 분석 결과, 그래프 구조와 가상 인스턴스 생성이 성능에 크게 영향을 미치며, A²LP의 설계 선택 사항이 타당함을 입증했다.
• 경험적 결과는 A²LP와 도메인 불변 특징 학습을 번갈아 적용할 경우 일관되고 상당한 향상이 이루어지며, 이는 본 방법의 강건성과 일반화 능력을 보여준다.