[논문 리뷰] ToAlign: Task-oriented Alignment for Unsupervised Domain Adaptation

Guoqiang Wei, Cuiling Lan외 3명|arXiv (Cornell University)|2021. 06. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 76인용 수 7

한 줄 요약

이 논문은 비지도 도메인 적응을 위한 작업 지향적 정렬 방법인 ToAlign을 제안한다. 이 방법은 소스 특징을 작업에 특화된 성분과 작업에 무관한 성분으로 분해하여, 분해된 성분 중에서 오직 작업에 특화된 성분만 정렬함으로써 분류 성능을 향상시킨다. 분류 작업 자체에서 유도된 메타지식을 활용함으로써, ToAlign은 최소한의 계산 부담으로 Office-Home, VisDA-2017, DomainNet에서 최고 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptive classifcation intends to improve the classifcation performance on unlabeled target domain. To alleviate the adverse effect of domain shift, many approaches align the source and target domains in the feature space. However, a feature is usually taken as a whole for alignment without explicitly making domain alignment proactively serve the classifcation task, leading to sub-optimal solution. In this paper, we propose an effective Task-oriented Alignment (ToAlign) for unsupervised domain adaptation (UDA). We study what features should be aligned across domains and propose to make the domain alignment proactively serve classifcation by performing feature decomposition and alignment under the guidance of the prior knowledge induced from the classifcation task itself. Particularly, we explicitly decompose a feature in the source domain into a task-related/discriminative feature that should be aligned, and a task-irrelevant feature that should be avoided/ignored, based on the classifcation meta-knowledge. Extensive experimental results on various benchmarks (e.g., Offce-Home, Visda-2017, and DomainNet) under different domain adaptation settings demonstrate the effectiveness of ToAlign which helps achieve the state-of-the-art performance. The code is publicly available at https://github.com/microsoft/UDA

연구 동기 및 목표

• 기존 비지도 도메인 적응 방법에서 도메인 정렬이 분류 작업에 명시적인 지침 없이 수동적으로 동시에 수행되는 한계를 해결하기 위해.
• 분류 성능을 극대화하기 위해 소스 도메인의 어떤 특징을 도메인 간에 정렬해야 하는지 특정하여, 전체 특징을 막연히 정렬하는 것을 방지하기 위해.
• 분류 작업 자체에서 파생된 메타지식을 명시적으로 활용하여 도메인 정렬을 유도함으로써, 정렬이 분류를 능동적으로 지원하도록 보장하기 위해.
• 작업에 무관한 성분으로부터 오염되는 것을 방지하기 위해, 가장 관련성이 높은 부분 특징만 정렬함으로써 분류 성능에 영향을 주는 잡음을 줄이기 위해.
• 복잡한 메타최적화 없이도 최소한의 계산 부담으로 비지도 도메인 적응에서 최고 성능을 달성하기 위해.

제안 방법

• 이 방법은 소스 도메인에서 특징를 명시적으로 분해하여, 분류 작업에서 유도된 메타지식을 활용해 각 특징을 작업 관련(분류에 특화된) 성분과 작업에 무관한 성분으로 분리한다.
• 타겟 특징와 소스 특징의 작업에 특화된 성분을 히드라드 곱(성분별 곱)을 사용해 조합함으로써 선택적 정렬을 가능하게 한다.
• 작업에 특화된 성분은 분류 헤드의 예측 신뢰도에서 유도되며, 이는 특징의 관련성에 대한 대체 지표로 기능한다.
• 도메인 정렬은 타겟 특징와 소스의 작업에 특화된 성분 간에만 수행되며, 작업에 무관한 성분은 정렬 과정에서 무시된다.
• 기존의 UDA 모델인 DANN과 HDA와 통합되어, 복잡한 메타최적화 없이도 작업 지향적 정렬을 강화한다.
• 메타지식을 정렬 과정에 직접 통합함으로써 추가적인 학습 복잡도를 피하고, 기준 모델 대비 7%의 계산 비용 절감을 달성한다.

실험 결과

연구 질문

• RQ1 소스 도메인에서 어떤 특정 특징을 타겟 도메인과 정렬해야 분류 성능을 가장 잘 향상시킬 수 있는가?
• RQ2 도메인 정렬을 어떻게 명시적으로 설계할 수 있는가? 분류 작업에 능동적으로 기여하도록 하되, 동시에 최적화되는 것이 아니라.
• RQ3 분류 작업에서 유도된 메타지식을 활용해 정렬을 위한 특징 선택을 유도할 수 있는가? 이는 적응 효과성을 향상시킬 수 있는가?
• RQ4 오직 작업에 특화된 특징만 선택적으로 정렬함으로써, 적응 과정에서 잡음이나 관련 없는 특징에 의한 간섭을 줄일 수 있는가?
• RQ5 작업 인식 정렬을 통합한 단순하고 효율적인 방법이 복잡한 최적화 없이도 최고 성능을 달성할 수 있는가?

주요 결과

• ToAlign은 Office-Home에서 최고 성능을 달성하여 이전 최고 성능 방법 대비 최대 1.2% 향상된 정확도를 기록했다.
• VisDA-2017에서 HDA+ToAlign은 HDA보다 0.9% 높은 성능을 보이며, 도메인 이동이 심한 상황에서도 일관된 성능 향상을 보였다.
• ResNet-101 기반 DomainNet에서 ToAlign은 기준 성능을 0.9% 향상시켜 다중 소스 UDA 방법 중 최고 성능을 달성했다.
• 1-shot 및 3-shot SSDA 설정에서 HDA+ToAlign은 모든 이전 방법을 능가했으며, 정확도가 각각 0.6%와 1.2% 향상되었다.
• ToAlign은 기준 DANNP 대비 추가 계산 비용이 7%에 불과하지만, DANNP+MetaAlign은 메타최적화로 인해 비용이 거의 두 배로 증가했다.
• 특징 시각화 결과는 ToAlign이 작업에 관련된 영역에 집중하는 반면, 기준 방법들은 배경이나 분류에 무관한 특징에 주로 주목하는 것으로 확인되었다.