[논문 리뷰] Heterogeneous Unsupervised Cross-domain Transfer Learning.

Feng Liu, Guangquan Zhang외 2명|arXiv (Cornell University)|2017. 01. 10.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 이질적인 특징 공간과 레이블이 부여된 타겟 데이터가 없는 조건에서도 성능을 높이기 위해 그라스만 다양체를 활용하여 이질적 도메인 간의 거리를 측정하고, 선형 단조 맵을 통해 특징을 공유 잠재 공간으로 투영하는 두 가지 새로운 이질적 비지도 교차도메인 전이 학습 모델, RLG와 GLG를 제안한다. 이 모델들은 다양한 교차도메인 작업에서 최신 기준 성능을 달성하며, 타겟 인스턴스에 레이블이 없더라도 신뢰할 수 있는 지식 전이를 보여준다.

ABSTRACT

Transfer learning addresses the problem of how to leverage previously acquired knowledge (a source domain) to improve the efficiency of learning in a new domain (the target domain). Although transfer learning has been widely researched in the last decade, existing research still has two restrictions: 1) the feature spaces of the domains must be homogeneous; and 2) the target domain must have at least a few labeled instances. These restrictions significantly limit transfer learning models when transferring knowledge across domains, especially in the big data era. To completely break through both of these bottlenecks, a theorem for reliable unsupervised knowledge transfer is proposed to avoid negative transfers, and a Grassmann manifold is applied to measure the distance between heterogeneous feature spaces. Based on this theorem and the Grassmann manifold, this study proposes two heterogeneous unsupervised knowledge transfer (HeUKT) models - known as RLG and GLG. The RLG uses a linear monotonic map (LMM) to reliably project two heterogeneous feature spaces onto a latent feature space and applies geodesic flow kernel (GFK) model to transfers knowledge between two the projected domains. The GLG optimizes the LMM to achieve the highest possible accuracy and guarantees that the geometric properties of the domains remain unchanged during the transfer process. To test the overall effectiveness of two models, this paper reorganizes five public datasets into ten heterogeneous cross-domain tasks across three application fields: credit assessment, text classification, and cancer detection. Extensive experiments demonstrate that the proposed models deliver superior performance over current benchmarks, and that these HeUKT models are a promising way to give computers the associative ability to judge unknown things using related known knowledge.

연구 동기 및 목표

• 기존 전이 학습의 두 주요 한계인 동일한 특징 공간이 요구되는 것과 타겟 도메인에서 레이블이 있는 인스턴스가 필요로 하는 것을 해결하기 위해.
• 이질적 도메인 간에 부정적 전이를 방지하는 신뢰할 수 있는 비지도 지식 전이를 위한 이론적 기반을 마련하기 위해.
• 실제 응용에서 타겟 데이터가 레이블이 없고 특징 공간이 크게 다를 경우에도 효과적인 지식 전이를 가능하게 하기 위해.
• 신용 평가, 텍스트 분류, 암 검출과 같은 다양한 도메인에서 이질적 교차도메인 설정 하에 제안된 모델을 평가하기 위해.

제안 방법

• 신뢰할 수 있는 비지도 지식 전이를 보장하기 위해, 전이된 지식이 타겟 도메인 성능을 떨어뜨리지 않도록 보장하는 정리를 제안한다.
• 이질적 특징 공간 간의 거리를 측정하기 위해 그라스만 다양체를 활용하여 서로 다른 도메인 간의 기하학적 비교를 가능하게 한다.
• RLG 모델을 도입하며, 이는 선형 단조 맵(LMM)을 사용해 이질적 소스 및 타겟 도메인을 공유 잠재 공간으로 투영한 후, 지오데식 플로우 커널(GFK)을 통해 지식 전이를 수행한다.
• GLG 모델을 개발하며, 이는 LMM를 최적화하여 전이 정확도를 극대화하면서도 두 도메인의 본질적 기하학적 구조를 유지한다.
• 그라스만 다양체의 성질을 활용하여 투영 및 전이 과정 중에 도메인 간 일관되고 의미 있는 유사도 측정을 유지한다.
• 다섯 개인 공개 데이터셋에서 유래한 십 개의 이질적 교차도메인 작업에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 타겟 데이터가 없더라도 이질적 특징 공간 간에 안정적인 비지도 지식 전이를 달성할 수 있는가?
• RQ2 지식 전이 과정에서 이질적 도메인 간 기하학적 관계를 효과적으로 측정하고 유지할 수 있는가?
• RQ3 제안된 RLG 및 GLG 모델이 이질적 교차도메인 설정에서 기존의 전이 학습 기준 성능을 얼마나 뛰어나게 성능을 높이는가?
• RQ4 신용 평가, 텍스트 분류, 암 검출과 같은 다양한 실제 응용에서 모델이 성능을 유지할 수 있는가?
• RQ5 기존의 유클리드 또는 커널 기반 접근 방식에 비해 그라스만 다양체를 사용할 경우 전이의 신뢰성과 정확도가 향상되는가?

주요 결과

• 제안된 HeUKT 모델인 RLG와 GLG는 모든 십 개의 이질적 교차도메인 작업에서 현재 최고의 기준 성능을 초월하는 뛰어난 성능을 달성한다.
• 모델들은 타겟 도메인에 어떤 레이블이 없더라도 지식 전이를 성공적으로 수행하여 비지도 학습 요구 조건을 충족시킨다.
• 그라스만 다양체 기반의 거리 측정 방식이 이질적 특징 공간 간 의미 있는 관계를 효과적으로 포착하여 안정적인 전이를 지원한다.
• RLG의 선형 단조 맵(LMM)은 안정적이고 단조적인 잠재 공간 투영을 보장하여 부정적 전이의 위험을 줄인다.
• GLG 모델은 전이 과정에서 두 도메인의 기하학적 특성을 유지하여 더 높은 정확도와 강건성을 기여한다.
• 신용 평가, 텍스트 분류, 암 검출 분야에서 실시한 광범위한 실험을 통해 기존 방법에 비해 일관되고 뚜렷한 향상이 나타났다.