[논문 리뷰] Larger Norm More Transferable: An Adaptive Feature Norm Approach for Unsupervised Domain Adaptation

Ruijia Xu, Guanbin Li외 2명|arXiv (Cornell University)|2018. 11. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 45

한 줄 요약

본 논문은 Adaptive Feature Norm (AFN) 방법이 특징 노름을 점진적으로 확대하여 무감독 도메인 적응의 성능을 향상시키는 것을 제시하며, SAFN이 추가 하이퍼파라미터 없이 여러 벤치마크에서 새로운 최첨단 성능을 달성함을 보여준다.

ABSTRACT

Domain adaptation enables the learner to safely generalize into novel environments by mitigating domain shifts across distributions. Previous works may not effectively uncover the underlying reasons that would lead to the drastic model degradation on the target task. In this paper, we empirically reveal that the erratic discrimination of the target domain mainly stems from its much smaller feature norms with respect to that of the source domain. To this end, we propose a novel parameter-free Adaptive Feature Norm approach. We demonstrate that progressively adapting the feature norms of the two domains to a large range of values can result in significant transfer gains, implying that those task-specific features with larger norms are more transferable. Our method successfully unifies the computation of both standard and partial domain adaptation with more robustness against the negative transfer issue. Without bells and whistles but a few lines of code, our method substantially lifts the performance on the target task and exceeds state-of-the-arts by a large margin (11.5% on Office-Home and 17.1% on VisDA2017). We hope our simple yet effective approach will shed some light on the future research of transfer learning. Code is available at https://github.com/jihanyang/AFN.

연구 동기 및 목표

• 도메인 전송에서 특징 노름의 역할과 소스/타깃 도메인 간의 모델 저하를 밝힌다.
• 파라미터-프리 AFN 프레임워크를 제안하여 특징 노름을 적응시키고 전이 가능성을 향상시킨다.
• 바닐라 도메인 적응과 부분적 도메인 적응을 견고하고 단순한 노름-적응 메커니즘으로 통합한다.
• 가벼운 파라미터-프리 접근법으로 다수의 시각적 DA 벤치마크에서 최첨단 성능을 보여준다.

제안 방법

• 소스 도메인과 타깃 도메인 간의 평균 특징 노름 차이를 측정하기 위해 MMFND를 정의한다.
• 평균 특징 노름을 공유 스칼라 R에 맞추고 R과의 L2 거리를 최소화하는 Hard AFN (HAFN)을 제안한다.
• 점진적으로 샘플에 걸쳐 노름을 증가시키는 Stepwise AFN (SAFN)을 도입한다.
• 소스 분류 손실과 특징 노름 페널티를 결합한 통합 최적화 목적함수를 제공한다.
• 평가 프로토콜(CNG, ONG, PNG)을 통해 부분적 DA와 부정 전이(negative transfer)에 대해 견고하게 처리하도록 프레임워크를 확장한다.
• 태스크 전반에서의 견고성을 입증하기 위해 고정된 하이퍼파라미터를 갖는 파라미터-프리 설정을 사용한다.

실험 결과

연구 질문

• RQ1 평균 특징 노름이 UDA에서 타깃 도메인 판별 실패를 설명할 수 있으며 타깃 특징을 확장하면 전이 성능이 향상되는가?
• RQ2 특징 노름을 맞추는 것이거나 점진적으로 확 enlarging 하는 것이 전통적 분포 매칭보다 더 나은 전이를 가져오는가?
• RQ3 노름-적응 방식으로 바닐라와 부분적 DA 설정을 효과적으로 통합할 수 있으며 방법이 부정 전이에 robust 한가?
• RQ4 AFN 변형(HAFN 대 SAFN)이 Office-Home과 VisDA2017 같은 벤치마크에 미치는 영향은 무엇인가?

주요 결과

• SAFN과 HAFN이 바닐라 DA 설정에서 Office-Home(등) 및 VisDA2017에서 최첨단 방법들을 능가한다.
• SAFN은 ResNet-101로 VisDA2017에서 평균 67.3%까지 달성하고 도메인별 이득이 강력하다.
• 부분적 DA 하에서 SAFN 및 SAFN+ENT 변형은 baselines 대비 상당한 개선을 보인다(예: Office-Home에서 11.5%, VisDA2017에서 17.1%).
• 메서드는 파라미터-프리이며 경량이지만 작업 전반에 걸쳐 일관된 이득을 제공하고 소스-이상 클래스에 대한 견고성을 보인다.
• 부정 전이 프로토콜은 SAFN이 경쟁 방법에 비해 부정 전이 효과를 최소화함을 나타낸다(CNG/ONG/PNG).
• 특징 시각화는 적응 후 대상 특징이 작은 노름 영역에서 더 큰 노름의 군집으로 이동하고 정렬이 개선됨을 보여준다.