[論文レビュー] Heterogeneous Transfer Learning: An Unsupervised Approach

Feng Liu, Guanquan Zhang+1 more|arXiv (Cornell University)|Jan 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 66被引用数 5

ひとこと要約

本稿では、新しい非教師付き知識転送定理と主角度に基づくメトリクスを用いて、負の転送を防ぐ非教師付き非均質的転移学習フレームワークを提案する。グラスマン-LMM-測地線フロー核（GLG）モデルは、線形単調写像を介して均質な表現を学習し、保証された条件下で、ラベルなしのターゲットドメインへの正しい知識転送を可能にする。

ABSTRACT

Transfer learning leverages the knowledge in one domain, the source domain, to improve learning efficiency in another domain, the target domain. Existing transfer learning research is relatively well-progressed, but only in situations where the feature spaces of the domains are homogeneous and the target domain contains at least a few labeled instances. However, transfer learning has not been well-studied in heterogeneous settings with an unlabeled target domain. To contribute to the research in this emerging field, this paper presents: (1) an unsupervised knowledge transfer theorem that prevents negative transfer; and (2) a principal angle-based metric to measure the distance between two pairs of domains. The metric shows the extent to which homogeneous representations have preserved the information in original source and target domains. The unsupervised knowledge transfer theorem sets out the transfer conditions necessary to prevent negative transfer. Linear monotonic maps meet the transfer conditions of the theorem and, hence, are used to construct homogeneous representations of the heterogeneous domains, which in principle prevents negative transfer. The metric and the theorem have been implemented in an innovative transfer model, called a Grassmann-LMM-geodesic flow kernel (GLG), that is specifically designed for knowledge transfer across heterogeneous domains. The GLG model learns homogeneous representations of heterogeneous domains by minimizing the proposed metric. Knowledge is transferred through these learned representations via a geodesic flow kernel. Notably, the theorem presented in this paper provides the sufficient transfer conditions needed to guarantee that knowledge is transferred from a source domain to an unlabeled target domain with correctness.

研究の動機と目的

• 非均質的ドメインとラベルなしのターゲットデータを対象とした転移学習におけるギャップを解消すること。
• ラベルなしのターゲットインスタンスが存在する状況でも、正しい知識転送を保証する十分条件を確立すること。
• 元の特徴情報の保持を保証しつつ、ドメイン類似度を定量化するメトリクスを開発すること。
• 非均質なソースドメインとターゲットドメインから均質な表現を学習可能なモデルを設計すること。
• 学習済み表現に基づく測地線フローカーネルを通じて、転送可能性が保持されることを保証すること。

提案手法

• 負の転送を防ぐ十分条件を定義する非教師付き知識転送定理を提案する。
• ソースドメインとターゲットドメインの表現間の距離を測る主角度に基づくメトリクスを導入する。
• 非均質なドメインを均質な表現に変換する線形単調写像を用いる。
• 提案されたメトリクスを最小化することで、これらの均質な表現を学習するグラスマン-LMM-測地線フローカーネル（GLG）モデルを採用する。
• 学習済み表現を通じて、測地線フローカーネルを用いてソースドメインからラベルなしのターゲットドメインへ知識を転送する。
• 非教師付き知識転送定理で導出された理論的条件に依拠することで、転送の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 非均質的設定下で、ソースドメインからラベルなしのターゲットドメインへの正しい知識転送を保証するのに十分な条件は何か？
• RQ2 特徴空間が非均質的で、ラベルが存在しない状況で、ドメイン間の距離を意味的に測定する方法は何か？
• RQ3 線形単調写像は、元のドメイン情報を保持しつつ、均質な表現を効果的に構築できるか？
• RQ4 ラベルなしのターゲットデータを前提とした非均質的ドメイン間で、カーネルベースの手法をどのように設計できるか？
• RQ5 非均質的ドメインにおける非教師付き転移学習に対して、どのような理論的保証を提供できるか？

主な発見

• 非教師付き知識転送定理により、ソースドメインからラベルなしのターゲットドメインへの知識転送が正しく行われ、負の転送が発生しない十分条件が提供される。
• 主角度に基づくメトリクスは、非均質な表現における元の情報を保持しつつ、ソースドメインとターゲットドメイン間の類似度を効果的に測定できる。
• 線形単調写像は定理の条件を満たしており、非均質なドメインから信頼性のある均質な表現を構築可能である。
• GLGモデルは提案されたメトリクスを最小化することで、均質な表現を効果的に学習し、有効な知識転送を促進する。
• 測地線フローカーネルは、学習済み表現を通じて知識転送を可能にし、ターゲットラベルが存在しない状況でも転送可能性を保証する。
• 理論的枠組みにより、転送の正しさが保証され、非教師付き非均質的転移学習分野における基盤的進展をもたらす。