[論文レビュー] A novel transfer learning method based on common space mapping and weighted domain matching

Ru‐Ze Liang, Wei Xie+4 more|arXiv (Cornell University)|Aug 16, 2016

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 11

ひとこと要約

本稿では、線形変換を用いてソースドメインおよびターゲットドメインのデータを共通空間にマッピングし、重み付きドメインマッチングと局所再構成正則化を用いてその分布を一致させる、新しい転移学習手法を提案する。この手法は、ベンチマークデータセット上で最先端の手法を上回り、20-Newsgroupで62.10%、Amazonで78.12%、Spamメールデータセットで86.41%の精度を達成した。

ABSTRACT

In this paper, we propose a novel learning framework for the problem of domain transfer learning. We map the data of two domains to one single common space, and learn a classifier in this common space. Then we adapt the common classifier to the two domains by adding two adaptive functions to it respectively. In the common space, the target domain data points are weighted and matched to the target domain in term of distributions. The weighting terms of source domain data points and the target domain classification responses are also regularized by the local reconstruction coefficients. The novel transfer learning framework is evaluated over some benchmark cross-domain data sets, and it outperforms the existing state-of-the-art transfer learning methods.

研究の動機と目的

• ソースドメインとターゲットドメインのデータ分布が著しく異なるという転移学習におけるドメインシフトの課題に対処する。
• ラベル情報と構造的データ関係を活用することで、リソースが限られたターゲットドメインにおける分類性能を向上させる。
• 従来の手法がラベル情報や局所的なデータ接続性、あるいはソースドメインサンプルの重要度のばらつきを無視するという限界を克服する。
• 共通空間で共有分類器を学習し、適応関数を用いて両ドメインに適合させる統合フレームワークを開発する。
• 局所再構成係数を統合して重み学習と分類応答を正則化し、モデルの頑健性と一般化性能を向上させる。

提案手法

• 線形変換行列 $\Theta$ を用いて、ソースドメインおよびターゲットドメインのデータを共通の低次元空間にマッピングする。
• 共通空間内でのソースドメインデータポイントの重み付き平均とターゲットドメインの平均との間の $\ell_2$-ノルム距離を最小化する。
• 共通分類器をソースドメインおよびターゲットドメインにそれぞれ適応させるために、適応関数 $\mathbf{u}^\top\mathbf{x}^s$ および $\mathbf{v}^\top\mathbf{x}^t$ を導入する。
• 隣接する点からの局所再構成係数を用いて、ソースドメインサンプルの重み因子 $\pi_i$ を正則化する。
• 局所再構成係数を用いてターゲットドメインの分類応答を正則化し、局所構造を保持する。
• 学習問題を制約付き二次計画問題として定式化し、アクティブセット法を用いて反復的に解く。

実験結果

リサーチクエスチョン

• RQ1 どのようにして共通表現空間内でソースドメインとターゲットドメインの分布を効果的に一致させることができるか？
• RQ2 ソースドメインデータの重み付きサンプリングが、ドメインマッチングと分類精度の向上に果たす役割は何か？
• RQ3 再構成係数によって捉えられる局所的データ構造は、転移学習モデルの頑健性をどのように向上させるか？
• RQ4 共通空間マッピングと適応型分類器を組み合わせることで、既存の転移学習手法を上回る性能が得られるか？
• RQ5 ターゲットドメインのラベル情報を統合することで、低監視設定における一般化性能はどのように向上するか？

主な発見

• 提案手法は20-Newsgroupベンチマークで62.10%の分類精度を達成し、Chenらが報告した次善の手法（58.15%）を顕著に上回った。
• Amazonレビューデータセットでは78.12%の精度に達し、Chenらの2番目に良い手法（76.21%）を上回った。
• Spamメールデータセットでは86.41%の精度を達成し、Chenらのベースライン手法（85.14%）を上回った。
• 局所再構成正則化の統合により、ソースドメインおよびターゲットドメインの両方で局所的データ構造が保持され、モデルの頑健性が向上した。
• 反復的アクティブセット法は制約付き最適化問題を効果的に解き、安定した収束と高い性能を実現した。
• 実験結果から、ドメインマッチング、ラベル活用、局所構造の共同最適化が、多様なクロスドメインタスクにおいて一貫した性能向上をもたらすことが確認された。