[論文レビュー] Semi-Supervised Domain Adaptation with Non-Parametric Copulas

David López-Paz, José Miguel Hernández-Lobato+1 more|arXiv (Cornell University)|Jan 1, 2013

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 25

ひとこと要約

本稿では、周辺分布と依存構造を分離することで多次元密度をモデル化するビーンコプールを用いた非パrametricな半教師付きドメイン適応フレームワークを提案する。2標本検定を用いてドメイン間での周辺分布および2変量コプールの変化を検出し、適応することで、実世界のデータを用いた回帰タスクにおいて、既存の手法（ガウス過程ベースおよびカーネルベースの手法を含む）を上回る最先端の性能を達成する。

ABSTRACT

A new framework based on the theory of copulas is proposed to address semi- supervised domain adaptation problems. The presented method factorizes any multivariate density into a product of marginal distributions and bivariate cop- ula functions. Therefore, changes in each of these factors can be detected and corrected to adapt a density model accross different learning domains. Impor- tantly, we introduce a novel vine copula model, which allows for this factorization in a non-parametric manner. Experimental results on regression problems with real-world data illustrate the efficacy of the proposed approach when compared to state-of-the-art techniques.

研究の動機と目的

• ドメインシフトを、ドメイン間のデータ分布の変化をモデル化することで半教師付き回帰において解決すること。
• 多次元密度を周辺分布とコプール成分に分解し、的確な適応を可能とすること。
• パラメトリックな仮定を必要としない高次元密度推定が可能な非パラメトリックなビーンコプールモデルの開発。
• 周辺分布および依存構造における分布シフトを特定・是正することで、ソースドメインからターゲットドメインへの効果的な知識移転を可能とすること。
• 最先端のドメイン適応技術と比較して、実世界の回帰データセット上で本手法の有効性を検証すること。

提案手法

• ビーンコプール理論を用いて、多次元密度を周辺密度の積と2変量コプール関数の積に分解する。
• 経験的ケンダールのτを用いた非パラメトリックな2変量コプール推定により、複雑な依存構造を柔軟にモデル化する。
• 2標本仮説検定を用いて、ソースドメインとターゲットドメイン間での周辺分布およびコプールの分布的変化を検出する。
• ドメイン間で顕著に異なる成分（周辺分布またはコプール）のみを更新することでドメイン適応を達成する。
• ランク変換（P(x_i)）を用いてデータを単位ハイパーキューブにマッピングし、依存構造と周辺分布の形を分離する。
• ラベル付きターゲットデータを部分的に使用することで、教師ありおよび教師なしの両方の適応を可能とする。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックなビーンコプールは、ドメイン適応における高次元多次元密度を効果的にモデル化できるか？
• RQ2 周辺分布および依存構造の変化は、どのようにドメイン間で検出し、是正できるか？
• RQ3 提案手法は、実世界の回帰問題において、既存の半教師付きドメイン適応手法を上回る性能を示すか？
• RQ4 結合密度の変化する成分のみを適応することで、ソースドメインからターゲットドメインへの知識移転はどの程度可能か？
• RQ5 教師なしバージョン（UNPRV）の性能は、完全に教師ありのベースラインと比べてどの程度か？

主な発見

• 提案手法NPRVは、UCI回帰データセットの6つのうち5つで最小の正規化平均二乗誤差（NMSE）を達成し、Isoletデータセットでは平均NMSEが0.46 ± 0.09を記録した。
• 教師なしバージョンのUNPRVは、6つのデータセットのうち4つですべてのベースラインを上回り、IsoletではNMSEが0.42 ± 0.04を達成したが、ラベル付きターゲットデータは使用していない。
• Hill-Valleysデータセットでは、NPRVがNMSE 0.15 ± 0.07を達成し、次に良い手法（ATGP）の1.00 ± 0.01を著しく上回った。
• 平均して1データセットあたり226個の周辺分布と155個の2変量コプールを適応しており、選択的かつ的確な適応が可能であることを示している。
• Isoletデータセット（617変数）におけるNPRVの学習時間は、標準ラップトップで約3分であり、実用的な効率性を示している。
• 本手法は、パラメトリックコプールおよびカーネル密度推定器を常に上回り、複雑で高次元な設定において非パラメトリックモデリングの優位性を示している。