[논문 리뷰] Domain Adaptation via Maximizing Surrogate Mutual Information

Haiteng Zhao, Chang Ma외 2명|arXiv (Cornell University)|2021. 10. 23.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 소스 도메인과 타겟 도메인 간 동일한 클래스의 특징 간의 서브티튜트 상호정보를 최대화하여 일반화 성능을 향상시키는 새로운 비지도 도메 적응 프레임워크인 SIDA를 제안한다. 타겟 도메인을 학습 가능한 서브티튜트 분포로 모델링하고, 상호정보와 분포 편향을 통해 타겟 리스크를 이론적으로 경계함으로써, SIDA는 Office-31, Office-Home, VisDA-2017 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to predict unlabeled data from target domain with access to labeled data from the source domain. In this work, we propose a novel framework called SIDA (Surrogate Mutual Information Maximization Domain Adaptation) with strong theoretical guarantees. To be specific, SIDA implements adaptation by maximizing mutual information (MI) between features. In the framework, a surrogate joint distribution models the underlying joint distribution of the unlabeled target domain. Our theoretical analysis validates SIDA by bounding the expected risk on target domain with MI and surrogate distribution bias. Experiments show that our approach is comparable with state-of-the-art unsupervised adaptation methods on standard UDA tasks.

연구 동기 및 목표

• 가상 레이블과 조건부 정렬에 의존하는 기존의 클래스 수준 도메인 적응 방법에서 이론적 근거가 부족한 문제를 해결하기 위해.
• 동일한 클래스의 특징 간 상호정보를 최대화하여 도메인 간 특징의 구분 능력을 향상시키기 위해.
• 타겟 도메인에서 서로 다른 클래스의 특징 간 혼동을 줄여 일반화 능력을 떨어뜨리는 요인을 완화하기 위해.
• 상호정보 최대화와 기대 리스크 감소 사이의 이론적 연결을 제공하는 토대가 되는 프레임워크를 제안하기 위해.

제안 방법

• SIDA는 대조 학습 유사 목적 함수를 사용하여 소스 도메인과 타겟 도메인의 동일한 클래스 특징 간 상호정보를 최대화한다.
• 비라벨 타겟 도메인을 모델링하기 위해 서브티튜트 결합 분포를 구성함으로써 데이터 선택 및 MI 추정의 유연성을 향상시킨다.
• 라플라시안 손실과 MI 손실에 대한 경사 하강법의 균형을 유지함으로써 급격한 붕괴를 방지하는 디퓨전 유사 업데이트 규칙을 통해 서브티튜트 분포를 최적화한다.
• 공유된 특징 추출을 갖는 이중 스트림 인코더와 도메인별 배치 정규화를 사용하며, 학습률 스케줄을 적용한 SGD로 훈련한다.
• 상호정보 손실, 보조 대조 손실, 라플라시안 정규화 항을 조합한 목적 함수를 통해 훈련 안정성을 높인다.
• 지역 이웃을 정의하기 위해 K-최근접 이웃 그래프를 사용하고, 서브티튜트 분포를 T단계에 걸쳐 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 동일한 클래스의 특징 간 상호정보를 최대화하는 것이 비지도 도메 적응에서 도메인 간 일반화 성능 향상에 기여하는가?
• RQ2 서브티튜트 분포가 타겟 도메인 적응에서 상호정보 추정의 안정성과 성능을 어떻게 향상시키는가?
• RQ3 상호정보, 서브티튜트 분포 편향, 타겟 도메인의 기대 리스크 사이의 이론적 관계는 무엇인가?
• RQ4 기존의 조건부 정렬 방법에 비해 상호정보 최대화가 더 높은 특징 구분 능력을 제공하는가?
• RQ5 이론적으로 타당성이 확보된 MI 기반 프레임워크가 표준 벤치마크에서 최신 기술 수준의 클래스 수준 UDA 모델을 능가할 수 있는가?

주요 결과

• SIDA는 Office-31, Office-Home, VisDA-2017 벤치마크에서 최신 기술 수준 성능을 달성하며, 기존의 클래스 수준 도메인 적응 방법을 능가한다.
• Office-31의 D→A 및 W→A 작업에서, t-SNE 시각화 결과에 따르면 SIDA는 ResNet-50 및 CDAN보다 훨씬 더 구분 능력이 뛰어난 특징 표현을 생성한다.
• 시각화 결과는 SIDA가 타겟 도메인에서 내부 클래스의 응집도를 높이고, 외부 클래스 간의 분리도를 향상시킴을 확인한다.
• VisDA-2017에서 α₁=3.0 및 α₂=1.0로 설정한 모델은 비교된 모든 방법들 중에서 가장 높은 테스트 정확도를 기록한다.
• 이론적 분석을 통해 타겟 도메인의 기대 리스크에 대한 상한선이 상호정보와 서브티튜트 분포 편향에 의존함을 규명함으로써, 프레임워크의 일반화 능력을 검증하였다.
• 서브티튜트 분포에 대한 디퓨전 유사 업데이트 규칙은 급격한 붕괴를 방지하고 훈련을 안정화시키며, 최적화 과정의 안정적 수렴을 통해 이를 뒷받침한다.