[논문 리뷰] Heterogeneous Transfer Learning: An Unsupervised Approach

Feng Liu, Guanquan Zhang외 1명|arXiv (Cornell University)|2017. 01. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 5

한 줄 요약

이 논문은 새로운 비지도 지식 전이 정리와 주각도 기반 메트릭을 사용하여 부정적 전이를 방지하는 비지도 이질적 전이 학습 프레임워크를 제안한다. 그라스만-LMM-지오데식 플로우 커널(GLG) 모델은 선형 단조 맵을 통해 동종 표현을 학습하여, 레이블이 없는 타겟 도메인으로부터 보장 조건 하에 정확한 지식 전이를 가능하게 한다.

ABSTRACT

Transfer learning leverages the knowledge in one domain, the source domain, to improve learning efficiency in another domain, the target domain. Existing transfer learning research is relatively well-progressed, but only in situations where the feature spaces of the domains are homogeneous and the target domain contains at least a few labeled instances. However, transfer learning has not been well-studied in heterogeneous settings with an unlabeled target domain. To contribute to the research in this emerging field, this paper presents: (1) an unsupervised knowledge transfer theorem that prevents negative transfer; and (2) a principal angle-based metric to measure the distance between two pairs of domains. The metric shows the extent to which homogeneous representations have preserved the information in original source and target domains. The unsupervised knowledge transfer theorem sets out the transfer conditions necessary to prevent negative transfer. Linear monotonic maps meet the transfer conditions of the theorem and, hence, are used to construct homogeneous representations of the heterogeneous domains, which in principle prevents negative transfer. The metric and the theorem have been implemented in an innovative transfer model, called a Grassmann-LMM-geodesic flow kernel (GLG), that is specifically designed for knowledge transfer across heterogeneous domains. The GLG model learns homogeneous representations of heterogeneous domains by minimizing the proposed metric. Knowledge is transferred through these learned representations via a geodesic flow kernel. Notably, the theorem presented in this paper provides the sufficient transfer conditions needed to guarantee that knowledge is transferred from a source domain to an unlabeled target domain with correctness.

연구 동기 및 목표

• 레이블이 없는 타겟 데이터가 있는 이질적 도메인에 대한 전이 학습의 격차를 해소하기 위해.
• 레이블이 없는 타겟 인스턴스가 있을 때도 정확한 지식 전이를 보장하는 충분한 조건을 설정하기 위해.
• 원래의 특징 정보를 유지하면서 도메인 유사도를 정량화하는 메트릭을 개발하기 위해.
• 이질적 소스 및 타겟 도메인으로부터 동종 표현을 학습할 수 있는 모델을 설계하기 위해.
• 학습된 표현 기반의 지오데식 플로우 커널을 통해 전이 가능성의 유지 보장을 위해.

제안 방법

• 부정적 전이를 방지하기 위한 충분한 조건을 정의하는 비지도 지식 전이 정리를 제안한다.
• 소스 및 타겟 도메인 표현 간의 거리를 측정하기 위해 주각도 기반 메트릭을 도입한다.
• 이질적 도메인을 동종 표현으로 변환하기 위해 선형 단조 맵을 사용한다.
• 제안된 메트릭을 최소화함으로써 이러한 동종 표현을 학습하기 위해 그라스만-LMM-지오데식 플로우 커널(GLG) 모델을 활용한다.
• 학습된 표현을 통해 지오데식 플로우 커널을 적용하여 소스에서 레이블이 없는 타겟 도메인으로 지식을 전이한다.
• 비지도 지식 전이 정리에서 유도된 이론적 조건에 기반하여 전이의 정확성을 확보한다.

실험 결과

연구 질문

• RQ1 이질적 환경에서 소스에서 레이블이 없는 타겟 도메인으로 지식 전이가 정확하고 부정적 전이 없이 보장되기 위한 충분한 조건은 무엇인가?
• RQ2 특징 공간이 이질적이고 레이블이 없을 때 도메인 간 거리를 의미 있게 측정할 수 있는 방법은 무엇인가?
• RQ3 선형 단조 맵이 원래 도메인 정보를 유지하면서 동종 표현을 효과적으로 구성할 수 있는가?
• RQ4 레이블이 없는 타겟 데이터가 있을 때도 이질적 도메인 간 지식을 전이할 수 있는 커널 기반 방법을 어떻게 설계할 수 있는가?
• RQ5 이질적 도메인에서 비지도 전이 학습에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 비지도 지식 전이 정리는 소스에서 레이블이 없는 타겟 도메인으로의 지식 전이가 정확하고 부정적 전이 없이 보장되기 위한 충분한 조건을 제공한다.
• 주각도 기반 메트릭은 이질적 표현에서 원래 정보를 유지하면서 소스 및 타겟 도메인 간의 유사도를 효과적으로 측정한다.
• 선형 단조 맵은 정리의 조건을 충족하여 이질적 도메인에서 신뢰할 수 있는 동종 표현을 구성할 수 있다.
• GLG 모델은 제안된 메트릭을 최소화함으로써 동종 표현을 성공적으로 학습하여 효과적인 지식 전이를 가능하게 한다.
• 지오데식 플로우 커널은 학습된 표현을 통해 지식 전이를 가능하게 하여 타겟 레이블이 없을 경우에도 전이 가능성을 보장한다.
• 이론적 프레임워크는 전이의 정확성을 보장하여 비지도 이질적 전이 학습 분야에서 기초적인 발전을 이룬다.