[論文レビュー] Blind Domain Adaptation: An RKHS Approach.

Christoph H. Lampert|arXiv (Cornell University)|Jun 20, 2014

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 2

ひとこと要約

本稿では、再生成核ヒルバート空間（RKHS）埋め込みとベクトル値回帰を用いて時系列的なデータ分布の変化をモデル化することで、ターゲットデータを一切使用せずに分類器を学習する盲目的ドメイン変換手法を提案する。複数の過去時刻における分布ダイナミクスを外挿することで、ターゲット分布を推定し、効果的な分類または合成データ生成を可能にする。合成データおよび実世界のデータにおいて優れた性能を示している。

ABSTRACT

We study the problem of domain adaptation: our goal is to learn a classifier, but the data distribution at training time (source) differs from the data distribution at prediction time (target). In contrast to existing work, we do not assume any samples from the target distribution to be available already at training time, not even unlabeled ones. Instead, we assume that the distribution mismatch is due to an underlying time-evolution of the data distribution, and that we have access to sample sets from more than one earlier time steps. Our main contribution is a method for learning an operator that can extrapolate the dynamics of the data distribution. For this we rely on two recent techniques: the embedding of probability distributions into a reproducing kernel Hilbert space, and vector-valued regression. By extrapolating the learned dynamics into the fu-ture, we obtain an estimate of the target distribution, based on which we can either directly learn a classifier for the target situation, or create a new sample set. Ex-periments on synthetics and real data show the effectiveness of our approach. 1

研究の動機と目的

• トレーニング時にラベル付きまたはラベルなしのターゲットデータが一切利用できない状況における分類におけるドメインシフトの問題に対処すること。
• 時系列的に変化するデータ分布の性質をモデル化し、将来の分布シフトを予測すること。
• 複数の過去時刻における分布ダイナミクスを外挿することで、ターゲット分布を推定する手法を開発すること。
• 以前の時刻におけるソースデータのみを用いて、ターゲットドメインにおける効果的な分類または合成データ生成を可能にすること。
• トレーニング中にターゲットサンプルへのアクセスを必要とする従来のドメイン変換手法の限界を克服すること。

提案手法

• カーネル平均埋め込みを用いて、複数の過去時刻における確率分布を再生成核ヒルバート空間（RKHS）に埋め込む。
• ベクトル値回帰を用いて、これらの分布埋め込みの時系列的変化を時間関数としてモデル化する。
• 過去の分布埋め込みを将来の推定にマッピングする時変演算子を学習し、ターゲット時刻への外挿を可能にする。
• 外挿された分布推定値を用いて、直接分類器を学習するか、合成ターゲットサンプルを生成する。
• RKHSの構造を活用して分布の差を保持し、滑らかで一般化可能なダイナミクスモデル化を実現する。
• 学習されたダイナミクスを適用して、トレーニング中にターゲットサンプルが観測されない場合でもターゲット分布を予測する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時にターゲットデータへのアクセスが全くない状況でも、ターゲットデータ分布を正確に予測できるか？
• RQ2 カーネル埋め込みとベクトル値回帰を用いて、時系列的に変化する分布ダイナミクスをどの程度うまくモデル化できるか？
• RQ3 過去の時刻における分布シフトを外挿することで、下流の分類性能がどの程度向上するか？
• RQ4 推定されたターゲット分布を用いて生成された合成データは、モデルの一般化性能を向上させられるか？
• RQ5 厳密なブラインド設定下で、本手法は従来のドメイン変換手法と比較してどの程度優れているか？

主な発見

• 本手法は、トレーニング時にターゲットデータにアクセスできないにもかかわらず、合成データおよび実世界データの両方で競争力ある分類性能を達成した。
• RKHS埋め込みとベクトル値回帰を用いた分布ダイナミクスの外挿により、ターゲット分布の正確な推定が可能となった。
• ターゲットデータを必要とするベースライン手法よりも優れた性能を示し、真のブラインド設定下での有効性を実証した。
• 推定されたターゲット分布から生成された合成データは、未観測のターゲットデータにおける分類器の一般化性能を向上させた。
• 時間経過に伴うデータ分布のシフトに対してロバストであり、多様なデータ分布において一貫した性能を示した。
• RKHS埋め込みの使用により、時間経過に伴う分布的変化の安定的で意味のある表現が保証された。