[논문 리뷰] A novel transfer learning method based on common space mapping and weighted domain matching

Ru‐Ze Liang, Wei Xie외 4명|arXiv (Cornell University)|2016. 08. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 11

한 줄 요약

이 논문은 선형 변환을 통해 소스 도메인과 타겟 도메인 데이터를 공통 공간으로 매핑한 후, 가중 도메인 매칭과 국소 복원 정규화를 사용하여 그들의 분포를 일치시키는 새로운 전이 학습 방법을 제안한다. 이 방법은 벤치마크 데이터셋에서 최신 기술보다 뛰어난 성능을 보이며, 20-Newsgroup에서 62.10%의 정확도, Amazon에서 78.12%의 정확도, Spam 이메일 데이터셋에서 86.41%의 정확도를 달성한다.

ABSTRACT

In this paper, we propose a novel learning framework for the problem of domain transfer learning. We map the data of two domains to one single common space, and learn a classifier in this common space. Then we adapt the common classifier to the two domains by adding two adaptive functions to it respectively. In the common space, the target domain data points are weighted and matched to the target domain in term of distributions. The weighting terms of source domain data points and the target domain classification responses are also regularized by the local reconstruction coefficients. The novel transfer learning framework is evaluated over some benchmark cross-domain data sets, and it outperforms the existing state-of-the-art transfer learning methods.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 상당히 다른 데이터 분포를 가진 전이 학습에서 도메인 이동 문제를 해결한다.
• 라벨 정보와 구조적 데이터 관계를 활용하여 자원이 제한된 타겟 도메인의 분류 성능을 향상시킨다.
• 이전 방법들이 라벨 정보, 국소 데이터 연결성, 또는 소스 도메인 샘플의 다양한 중요도를 忽시하는 한계를 극복한다.
• 공통 공간에서 공유 분류기를 학습하고 적응 함수를 통해 두 도메인에 맞게 조정하는 통합 프레임워크를 개발한다.
• 국소 복원 계수를 통합하여 가중치 학습과 분류 응답을 정규화함으로써 모델의 강건성과 일반화 능력을 향상시킨다.

제안 방법

• 선형 변환 행렬 $\Theta$ 를 사용하여 소스 도메인과 타겟 도메인 데이터를 공통의 저차원 공간으로 매핑한다.
• 공통 공간에서 소스 도메인 데이터 포인트의 가중 평균과 타겟 도메인 데이터 포인트의 평균 간의 $\ell_2$-노름 거리를 최소화한다.
• 공통 분류기가 소스 도메인과 타겟 도메인에 각각 적응할 수 있도록 적응 함수 $\mathbf{u}^\top\mathbf{x}^s$ 와 $\mathbf{v}^\top\mathbf{x}^t$ 를 도입한다.
• 소스 도메인 샘플의 가중치 요소 $\pi_i$ 를 이웃 포인트로부터의 국소 복원 계수를 사용하여 정규화한다.
• 국소 복원 계수를 사용하여 타겟 도메인의 분류 응답을 정규화함으로써 국소 구조를 유지한다.
• 학습 문제를 제약 조건이 있는 이차 최적화 문제로 공식화하고, 활성 집합 알고리즘을 반복적으로 사용하여 해결한다.

실험 결과

연구 질문

• RQ1 공통 표현 공간에서 소스 도메인과 타겟 도메인의 분포를 효과적으로 일치시키는 방법은 무엇인가?
• RQ2 소스 도메인 데이터의 가중 샘플링이 도메인 일치 및 분류 정확도 향상에 미치는 역할은 무엇인가?
• RQ3 복원 계수를 통해 포착된 국소 데이터 구조는 전이 학습 모델의 강건성을 어떻게 향상시키는가?
• RQ4 공통 공간 매핑과 적응형 분류기를 조합하면 기존 전이 학습 방법보다 교차 도메인 벤치마크에서 뛰어난 성능을 낼 수 있는가?
• RQ5 타겟 도메인의 라벨 정보 통합은 저 supervision 환경에서 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 20-Newsgroup 벤치마크에서 62.10%의 분류 정확도를 달성하였으며, 첸 등이 제시한 다음으로 우수한 방법(58.15%)보다 뚜렷이 뛰어나다.
• 아마존 리뷰 데이터셋에서는 78.12%의 정확도를 기록하였으며, 첸 등이 제시한 두 번째로 우수한 방법(76.21%)을 초월한다.
• 스팸 이메일 데이터셋에서는 86.41%의 정확도를 달성하였으며, 기준 방법(85.14%)을 뛰어넘는다.
• 국소 복원 정규화 통합으로 인해 소스 도메인과 타겟 도메인 양쪽에서 국소 데이터 구조가 유지되어 모델의 강건성이 향상된다.
• 반복적인 활성 집합 알고리즘이 제약 조건이 있는 최적화 문제를 효과적으로 해결하여 안정적인 수렴과 높은 성능을 가능하게 한다.
• 실험 결과는 도메인 일치, 라벨 활용, 국소 구조 최적화를 동시에 고려할 경우 다양한 교차 도메인 작업에서 일관된 성능 향상이 이루어짐을 확인한다.