[논문 리뷰] Learning with Augmented Features for Heterogeneous Domain Adaptation

Lixin Duan, Dong Xu외 1명|arXiv (Cornell University)|2012. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 223

한 줄 요약

이 논문은 이종 도메인 적응(HDA)을 위한 새로운 방법인 이종 특징 증강(HFA)을 제안한다. HFA는 두 개의 투영 행렬을 사용하여 소스 도메인과 타겟 도메인 데이터를 공통의 부분공간으로 정렬한 후, 변환된 특징에 원본 특징과 영벡터를 추가하여 증강한다. 이 방법은 증강된 표현을 통합함으로써 SVM 및 SVR의 효과적인 활용을 가능하게 하며, 번갈아 최적화 알고리즘을 통해 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a new learning method for heterogeneous domain adaptation (HDA), in which the data from the source domain and the target domain are represented by heterogeneous features with different dimensions. Using two different projection matrices, we first transform the data from two domains into a common subspace in order to measure the similarity between the data from two domains. We then propose two new feature mapping functions to augment the transformed data with their original features and zeros. The existing learning methods (e.g., SVM and SVR) can be readily incorporated with our newly proposed augmented feature representations to effectively utilize the data from both domains for HDA. Using the hinge loss function in SVM as an example, we introduce the detailed objective function in our method called Heterogeneous Feature Augmentation (HFA) for a linear case and also describe its kernelization in order to efficiently cope with the data with very high dimensions. Moreover, we also develop an alternating optimization algorithm to effectively solve the nontrivial optimization problem in our HFA method. Comprehensive experiments on two benchmark datasets clearly demonstrate that HFA outperforms the existing HDA methods.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 서로 다른 차원을 가진 이종 특징 공간을 가질 때 발생하는 도메인 이동 문제를 해결하기 위해.
• 이러한 이종 도메인 간의 효과적인 지식 전이를 가능하게 하는 통합 프레임워크를 개발하기 위해.
• 기존의 학습 모델인 SVM 및 SVR의 성능을 향상시키기 위해 증강된 특징 표현을 도입하기 위해.
• HFA 목적 함수의 커널화를 통해 고차원 데이터에 대한 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 소스 도메인과 타겟 도메인 데이터를 공통의 저차원 부분공간으로 매핑하기 위해 도메인별 투영 행렬을 학습한다.
• 투영된 특징과 원본 특징, 영벡터를 조합하여 증강된 특징 표현을 생성함으로써 구조적 및 분류 정보를 유지한다.
• HFA 목적 함수는 허브 손실을 사용하여 SVM 및 SVR과의 통합이 가능하게 하며, 선형 및 비선형 학습을 지원한다.
• 고차원 데이터를 효율적으로 처리하기 위해 커널 기법을 활용한 HFA의 커널화된 버전을 유도한다.
• 투영 행렬과 모델 파라미터를 동시에 학습하기 위한 번갈아 최적화 알고리즘을 개발한다.
• 공통 부분공간에서 도메인 간 차이를 최소화하면서도 클래스 간 분리성은 유지한다.

실험 결과

연구 질문

• RQ1 소스 도메인과 타겟 도메인이 서로 다른 차원을 가진 이종 특징을 도메인 적응에서 효과적으로 정렬할 수 있는가?
• RQ2 증강된 특징 표현은 이종 도메인 적응에서 표준 분류기인 SVM의 성능을 향상시킬 수 있는가?
• RQ3 HFA에서 투영 행렬과 모델 파라미터를 효과적으로 공동으로 학습하기 위한 최적화 전략은 무엇인가?
• RQ4 커널화된 HFA 방법은 고차원 데이터에 대해 어떻게 확장되며 성능을 유지하는가?
• RQ5 HFA는 표준 벤치마크 데이터셋에서 기존의 HDA 방법보다 우수한 성능을 내는가?

주요 결과

• HFA는 이종 도메인 적응을 위한 두 개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 기존의 HDA 접근 방식에 비해 소스 도메인과 타겟 도메인 데이터를 효과적으로 활용함으로써 분류 정확도가 크게 향상된다.
• 원본 특징과 영벡터를 포함한 증강된 특징의 사용은 모델의 일반화 능력과 분류 능력을 향상시킨다.
• 번갈아 최적화 알고리즘이 안정적이고 효율적으로 수렴하여 실용적 구현이 가능하다.
• 커널화된 HFA는 고차원 데이터에서도 뛰어난 성능을 유지하며 확장 가능성을 입증한다.
• 실험 결과는 투영을 통한 특징 정렬과 증강이 상당한 성능 향상을 이끌어낸다는 것을 확인한다.