[논문 리뷰] Exploiting Local Feature Patterns for Unsupervised Domain Adaptation

Jun Wen, Risheng Liu외 4명|arXiv (Cornell University)|2018. 11. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 5

한 줄 요약

이 논문은 전체 특징 일치와 함께 도메인 불변 국소 특징 패턴을 활용하여 미세한 해상도의 교차 도메인 특징 매칭을 가능하게 하는 새로운 비지도 도메인 적응 방법을 제안한다. 적대적 학습과 희박성 정규화를 통해 전체 및 국소 분포 일치를 동시에 최적화함으로써, Office-31에서 최신 기술 수준의 성능을 달성하며 부정적 전이를 감소시키고 특징의 밀도를 향상시킨다.

ABSTRACT

Unsupervised domain adaptation methods aim to alleviate performance degradation caused by domain-shift by learning domain-invariant representations. Existing deep domain adaptation methods focus on holistic feature alignment by matching source and target holistic feature distributions, without considering local features and their multi-mode statistics. We show that the learned local feature patterns are more generic and transferable and a further local feature distribution matching enables fine-grained feature alignment. In this paper, we present a method for learning domain-invariant local feature patterns and jointly aligning holistic and local feature statistics. Comparisons to the state-of-the-art unsupervised domain adaptation methods on two popular benchmark datasets demonstrate the superiority of our approach and its effectiveness on alleviating negative transfer.

연구 동기 및 목표

• 기존 비지도 도메인 적응 방법이 전체 특징 일치에만 집중함으로써 이행 가능성 저하와 부정적 전이가 발생할 수 있는 한계를 해결하기 위해.
• 전체 표현보다 더 일반적이고 이행 가능한 국소 특징 패턴을 활용하여 도메인 불변 표현 학습을 향상시키기 위해.
• 도메인 간 전체 및 국소 특징 분포를 동시에 매칭함으로써 미세한 수준의 일치를 가능하게 하기 위해.
• 전역 전체 분포 매칭과 국소 패턴 특화 분포 일치라는 双중 수준의 일치 전략을 통해 도메인 간 격차를 감소시키기 위해.
• 다양한 합성곱 층에서의 국소 특징 패턴의 효과를 실증적으로 검증하고, 국소 패턴 크기 변화에 대한 방법의 강건성을 평가하기 위해.

제안 방법

• 일반적인 국소 특징 패턴의 군집을 사용하여 국소 특징 공간을 잘 분리된 셀들로 분할한다.
• 도메인 적대적 손실을 사용해 도메인 간 집합된 국소 특징을 일치시킴으로써 전체 분포 일致성을 강제한다.
• 학습된 국소 패턴에 기반한 국소 특징 잔차를 일치시키기 위해 조건부 도메인 적대적 손실을 도입하여 미세한 국소 특징 일치를 가능하게 한다.
• 모델이 밀도 있고 잘 분리된 국소 특징 패턴을 학습하도록 희박성 손실을 적용한다.
• 적대적 항목과 희박성 항목을 조합한 다목적 손실 함수를 사용해 전체 및 국소 특징 일치를 동시에 최적화한다.
• 모델은 VGG16 백본을 사용하며, 특히 conv5_3 층의 특징에 대해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응에서 전체 표현보다 국소 특징 패턴이 더 일반적이고 이행 가능한가?
• RQ2 전체 및 국소 특징 분포의 동시 일치가 교차 도메인 특징 일치와 도메인 격차 감소에 기여하는가?
• RQ3 국소 특징 패턴 군집화와 조건부 적대적 일치가 모델 성능과 강건성에 어떤 영향을 미치는가?
• RQ4 CNN 내에서 국소 특징 기반 도메인 적응에 가장 적합한 층은 무엇이며, 특징 깊이가 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 국소 특징 패턴 크기에 얼마나 민감한가? 패턴 복잡성과 일치 효과성 사이의 상충 관계는 어떠한가?

주요 결과

• conv5_3 층의 특징을 사용할 경우, 제안된 방법은 Office-31 데이터셋에서 평균 정확도 72.46%를 달성하며 최신 기술 수준의 방법을 초월한다.
• 전체 및 국소 특징 일치를 동시에 적용한 방법(Our H+L)은 국소 패턴 크기 k=64일 때 평균 정확도 72.59%를 기록하며 패턴 크기에 대해 거의 민감하지 않으며, 크기가 더 큰 경우 약간의 성능 향상을 보인다.
• t-SNE 시각화 결과, DANN 및 비적응 모델 대비 제안된 방법이 전체 및 국소 특징 공간에서 소스 및 타겟 표현을 더 잘 일치시킴을 확인할 수 있다.
• 국소 특징 패턴 학습을 적용한 모델은 국소 특징 공간에서 더 밀도 있고 잘 분리된 클러스터를 보이며, 이는 향상된 특징 밀도와 도메인 불변성을 의미한다.
• 제거 실험 결과, 특히 conv5_3 층과 같은 고층에서 더 우수한 성능을 기록하며, conv5_1에서 conv5_3로 갈수록 성능이 점차 향상됨을 확인하였다.
• t-SNE 플롯에서 도메인 특화 클러스터 간 혼동이 감소하고 일치가 향상됨으로써, 부정적 전이가 효과적으로 완화됨을 입증하였다.