[論文レビュー] Heterogeneous Unsupervised Cross-domain Transfer Learning.

Feng Liu, Guangquan Zhang+2 more|arXiv (Cornell University)|Jan 10, 2017

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、非均質な特徴空間とラベル付きのターゲットデータの制限を克服するため、グラスマン多様体を用いて非均質なドメイン間の距離を測定し、線形単調写像を用いて特徴を共有の潜在空間に投影する2つの新しい異種非教師付きクロスドメイン転移学習モデル、RLGおよびGLGを提案する。これらのモデルは、多様なクロスドメインタスクにおいて最先端の性能を達成し、ラベル付きのターゲットインスタンスが存在しない状況でも信頼性の高い知識転送を実現する。

ABSTRACT

Transfer learning addresses the problem of how to leverage previously acquired knowledge (a source domain) to improve the efficiency of learning in a new domain (the target domain). Although transfer learning has been widely researched in the last decade, existing research still has two restrictions: 1) the feature spaces of the domains must be homogeneous; and 2) the target domain must have at least a few labeled instances. These restrictions significantly limit transfer learning models when transferring knowledge across domains, especially in the big data era. To completely break through both of these bottlenecks, a theorem for reliable unsupervised knowledge transfer is proposed to avoid negative transfers, and a Grassmann manifold is applied to measure the distance between heterogeneous feature spaces. Based on this theorem and the Grassmann manifold, this study proposes two heterogeneous unsupervised knowledge transfer (HeUKT) models - known as RLG and GLG. The RLG uses a linear monotonic map (LMM) to reliably project two heterogeneous feature spaces onto a latent feature space and applies geodesic flow kernel (GFK) model to transfers knowledge between two the projected domains. The GLG optimizes the LMM to achieve the highest possible accuracy and guarantees that the geometric properties of the domains remain unchanged during the transfer process. To test the overall effectiveness of two models, this paper reorganizes five public datasets into ten heterogeneous cross-domain tasks across three application fields: credit assessment, text classification, and cancer detection. Extensive experiments demonstrate that the proposed models deliver superior performance over current benchmarks, and that these HeUKT models are a promising way to give computers the associative ability to judge unknown things using related known knowledge.

研究の動機と目的

• 既存の転移学習における2つの主な制限、すなわち均質な特徴空間の要請とターゲットドメインにおけるラベル付きインスタンスの可用性を解消すること。
• 非均質なドメイン間で負の転送を防ぐ信頼性の高い非教師付き知識転送の理論的基盤を構築すること。
• ターゲットデータがラベルなしで、特徴空間が顕著に異なる現実世界のシナリオにおいて、効果的な知識転送を可能にすること。
• クレジット評価、テキスト分類、がん検出の分野において、非均質なクロスドメイン設定下で、多様なドメインに対して提案モデルを評価すること。

提案手法

• 知識転送の信頼性を保証するための定理を提案し、転送された知識がターゲットドメインのパフォーマンスを低下させないことを確実にする。
• 非均質な特徴空間間の距離を測定するためにグラスマン多様体を活用し、異なるドメイン間での幾何的比較を可能にする。
• RLGモデルを導入し、線形単調写像（LMM）を用いて非均質なソースドメインとターゲットドメインを共有の潜在空間に投影した後、地図的流れカーネル（GFK）を用いて知識を転送する。
• GLGモデルを開発し、LMMを最適化して転送精度を最大化するとともに、両ドメインの内在的な幾何的構造を保持する。
• グラスマン多様体の性質を活用して、投影および転送の過程でドメイン間の一貫性があり意味のある類似性測定を維持する。
• 5つの公開データセットから得た10の非均質なクロスドメインタスクに、これらのモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きターゲットデータが不要な状況でも、非均質な特徴空間間で信頼性の高い非教師付き知識転送を達成できるか？
• RQ2 知識転送の過程で、非均質なドメイン間の幾何的関係を効果的に測定・保持する方法は何か？
• RQ3 提案されたRLGおよびGLGモデルは、非均質なクロスドメイン設定下で、既存の転移学習ベンチマークをどの程度上回るか？
• RQ4 クレジット評価、テキスト分類、がん検出といった多様な現実世界の応用分野において、モデルは性能を維持できるか？
• RQ5 グラスマン多様体を用いることで、標準的なユークリッド距離やカーネルベースのアプローチと比較して、転送の信頼性と正確性が向上するか？

主な発見

• 提案されたHeUKTモデル、RLGおよびGLGは、10の非均質なクロスドメインタスクすべてにおいて、現在の最先端のベンチマークを上回る優れた性能を達成する。
• これらのモデルは、ターゲットドメインにラベル付きインスタンスが一切不要な状況でも知識転送を成功させ、非教師学習の要件を満たす。
• グラスマン多様体に基づく距離測定は、非均質な特徴空間間の意味のある関係を効果的に捉えており、信頼性の高い転送を支援する。
• RLGにおける線形単調写像（LMM）は、潜在空間への安定的かつ単調な投影を保証し、負の転送のリスクを低減する。
• GLGモデルは、転送の過程で両ドメインの幾何的特性を保持しており、これがより高い正確性と頑健性に寄与している。
• クレジット評価、テキスト分類、がん検出における広範な実験により、既存の手法と比較して一貫的かつ顕著な改善が確認された。