[논문 리뷰] Associative Partial Domain Adaptation

Youngeun Kim, Sungeun Hong외 4명|arXiv (Cornell University)|2020. 08. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 9

한 줄 요약

이 논문은 부분적 도메인 적응(Partial Domain Adaptation, PDA)에서 음성 전이(negative transfer)를 완화하기 위해 내부 도메인 및 외부 도메인 간 연관성을 모두 활용하는 새로운 방법인 유사도 기반 부분적 도메인 적응(APDA)을 제안한다. 소스의 진짜 레이블과 타겟의 확률적 레이블을 조합한 레이블 공간에서 그래프 기반 특징 전파를 수행하고, 이동 평균 레이블 공통성 기반의 신뢰도 유도 손실을 도입함으로써, 이상치 샘플을 효과적으로 다루고 긍정적 전이를 향상시켜 다양한 공개 벤치마크에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Partial Adaptation (PDA) addresses a practical scenario in which the target domain contains only a subset of classes in the source domain. While PDA should take into account both class-level and sample-level to mitigate negative transfer, current approaches mostly rely on only one of them. In this paper, we propose a novel approach to fully exploit multi-level associations that can arise in PDA. Our Associative Partial Domain Adaptation (APDA) utilizes intra-domain association to actively select out non-trivial anomaly samples in each source-private class that sample-level weighting cannot handle. Additionally, our method considers inter-domain association to encourage positive transfer by mapping between nearby target samples and source samples with high label-commonness. For this, we exploit feature propagation in a proposed label space consisting of source ground-truth labels and target probabilistic labels. We further propose a geometric guidance loss based on the label commonness of each source class to encourage positive transfer. Our APDA consistently achieves state-of-the-art performance across public datasets.

연구 동기 및 목표

• 소스 도메인에 타겟 도메인과 관련이 없는 사전 클래스(private classes)가 포함되어 있을 때 발생하는 부분적 도메인 적응(PDA)의 음성 전이 문제를 해결하기 위해.
• 기존의 클래스 수준 및 샘플 수준의 가중치 방법이 비트리비얼한 내부 클래스 변동성을 다루지 못하고 명시적인 외부 도메인 간 관계를 고려하지 못하는 한계를 극복하기 위해.
• 소스 전용 클래스 내의 내부 도메인 구조를 동시에 활용하고, 소스와 타겟 샘플 간 높은 레이블 공통성을 가진 샘플 간의 외부 도메인 정렬을 실현하기 위해.
• 통합 프레임워크에서 다중 수준의 연관성을 모델링하여 긍정적 전이를 향상시키고 음성 전이를 억제하기 위해.

제안 방법

• APDA는 소스에서의 하드 레이블과 타겟 도메인의 소프트 레이블을 사용하여 레이블 공간을 구성하는 클래스 유사성 그래프(CRG) 모듈을 도입하여 내부 및 외부 도메인 간 연관성을 모델링한다.
• CRG는 그래프 기반 특징 전파를 수행하여 내재된 클래스 구조를 학습하고, 높은 레이블 공통성을 공유하는 소스 및 타겟 샘플 간의 밀접함을 유도한다.
• 이동 평균 공통성 점수를 활용한 신뢰도 유도 손실을 제안하여, 소스 전용 클래스는 타겟 샘플에서 멀어지도록 유도하고 공통 클래스는 더 가까이 오도록 유도한다.
• 표준 교차 엔트로피 손실 및 도메인 적대적 손실과 함께 신뢰도 유도 손실을 통합하며, 최적화 균형을 맞추기 위해 교환 가중치 하이퍼파rameter를 사용한다.
• 특징 전파를 소스 진짜 레이블과 타겟 예측 확률 레이블을 조합한 레이블 공간에서 수행하여 클래스 관계의 구조적 모델링을 가능하게 한다.
• 상위-K 선택 및 지수 이동 평균을 사용하여 레이블 공통성 추정을 안정화시키며, 특히 희소 미니배치 설정에서 유리하다.

실험 결과

연구 질문

• RQ1 클래스 수준 또는 샘플 수준의 가중치에 의존하는 방법과 비교하여, 내부 도메인 및 외부 도메인 간 연관성을 동시에 모델링하는 것이 부분적 도메인 적응(PDA) 성능 향상에 기여하는가?
• RQ2 소스 전용 클래스 내의 비트리비얼한 내부 클래스 변동성을 효과적으로 완화하여 음성 전이를 방지할 수 있는가?
• RQ3 소스와 타겟 샘플 간 높은 레이블 공통성을 가진 경우의 외부 도메인 정렬이 PDA에서 긍정적 전이를 얼마나 향상시킬 수 있는가?
• RQ4 신뢰도 유도 손실의 스무딩 요소, 그래프 깊이, 배치 크기 등의 하이퍼파ram터 선택에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• APDA는 Office-Home 및 Office-31를 포함한 여러 공개 PDA 벤치마크에서 최신 기준(SOTA) 성능을 달성하며 일관되게 기존 방법을 능가한다.
• Office-Home의 Cl ⇒ Pr 설정에서, APDA는 타겟 클래스 수가 적은 경우에도 강력한 성능 유지를 보이며, 클래스 불균형과 레이블 부족 상황에 강인함을 입증한다.
• 시험 오차 곡선을 통해 표준 도메인 적응 및 기존 PDA 방법보다 더 빠르고 안정적으로 수렴하는 것으로 확인되었다.
• t-SNE를 활용한 특징 시각화 결과 APDA는 DANN 및 PADA와 비교해 더 분류 능력이 뛰어나고 잘 군집화된 특징 공간을 학습하는 것으로 확인되었다.
• 가중치 시각화 결과 APDA는 소스 전용 클래스에 거의 0에 가까운 가중치를 할당하여 음성 전이를 효과적으로 억제하는 것으로 나타났다.
• 제거 실험 결과 CRG 모듈과 신뢰도 유도 손실 둘 다 필수적이며, 둘 중 하나라도 제거할 경우 성능 저하가 발생함을 확인했다.