[논문 리뷰] Feature Alignment and Restoration for Domain Generalization and Adaptation

Xin Jin, Cuiling Lan외 2명|arXiv (Cornell University)|2020. 06. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 61인용 수 35

한 줄 요약

논문은 도메인 간 특징 정렬을 수행하고 잔차에서 작업 관련 정보를 복원하여 DG와 UDA 모두를 개선하는 단일 프레임워크 FAR을 소개합니다.

ABSTRACT

For domain generalization (DG) and unsupervised domain adaptation (UDA), cross domain feature alignment has been widely explored to pull the feature distributions of different domains in order to learn domain-invariant representations. However, the feature alignment is in general task-ignorant and could result in degradation of the discrimination power of the feature representation and thus hinders the high performance. In this paper, we propose a unified framework termed Feature Alignment and Restoration (FAR) to simultaneously ensure high generalization and discrimination power of the networks for effective DG and UDA. Specifically, we perform feature alignment (FA) across domains by aligning the moments of the distributions of attentively selected features to reduce their discrepancy. To ensure high discrimination, we propose a Feature Restoration (FR) operation to distill task-relevant features from the residual information and use them to compensate for the aligned features. For better disentanglement, we enforce a dual ranking entropy loss constraint in the FR step to encourage the separation of task-relevant and task-irrelevant features. Extensive experiments on multiple classification benchmarks demonstrate the high performance and strong generalization of our FAR framework for both domain generalization and unsupervised domain adaptation.

연구 동기 및 목표

• 교차 도메인 특징 정렬 과정에서 판별력 손실의 원인을 고찰하고 해결합니다.
• 작업 관련 정보를 보존하기 위해 특징 정렬과 복원 단계를 결합한 단일 프레임워크를 제안합니다.
• 듀얼 랭킹 엔트로피 손실을 통해 작업 관련 및 작업 비관련 잔차를 분리합니다.
• DG 및 UDA 벤치마크에서 최첨단 성능을 입증하고 설계 선택을 분석합니다.

제안 방법

• 적응형 특징 정렬(FA)을 주의 깊게 선택된 특징들에 적용하여 도메인 간 분포 차이를 감소시킵니다.
• 원래 특징과 정렬된 특징 사이의 잔차에서 작업 관련 정보를 증류하는 특징 복원(FR) 단계를 도입합니다.
• 공간 및 채널 주의에 기반한 게이팅 메커니즘을 사용하여 잔차를 작업 관련 R+와 작업 비관련 R−로 분리합니다.
• 복원 후 판별을 촉진하고 간섭 억제를 위한 이중 랭킹 엔트로피 손실을 적용합니다.
• 도메인별 전문가 교사들이 안내하는 공유 도메인 분류기와 일관성 제약을 사용하여 학습합니다.
• 학습 중에 L1 일관성 항과 함께 도메인별 교사를 선택적으로 사용하는 옵션이 있으며 추론은 단일 공유 분류기를 사용합니다.

실험 결과

연구 질문

• RQ1 다중 도메인 간의 일반화를 특징 정렬만으로 향상시키면서 판별력을 희생하지 않을 수 있을까?
• RQ2 정렬된 특징에서 작업 관련 정보를 복원하면 DG와 UDA 성능이 향상될까?
• RQ3 듀얼 랭킹 엔트로피 손실로 잔차 정보를 분리하면 클래스 간 특징 분리가 향상될까?
• RQ4 주목 기반 특징 선택과 교사 지도 학습이 교차 도메인 분류에 어떤 영향을 미칠까?

주요 결과

• FAR가 여러 데이터셋에서 DG 및 UDA 벤치마크에 대해 최첨단 방법을 능가합니다.
• 단독으로의 특징 정렬은 판별력을 저하시키지만, 복원이 판별력을 회복합니다.
• 듀얼 랭킹 엔트로피 손실은 작업 관련 정보와 작업 비관련 정보의 분리를 개선합니다.
• 주목 기반의 적응적 특징 선택이 FA의 정렬을 단순 컨브 기반 매핑보다 더 잘 수행합니다.
• 공유 분류기를 갖춘 교사-guided 학습은 성능 향상을 제공하고 추론 복잡성을 줄여줍니다.
• 일부 분석(Ablation studies)에서 FR 모듈과 DRE 손실이 전반적인 성능에 중요한 역할을 한다는 것을 확인합니다.