[論文レビュー] A Primer on Domain Adaptation

Pirmin Lemberger, Ivan Panico|arXiv (Cornell University)|Jan 27, 2020

Data Stream Mining Techniques参考文献 20被引用数 10

ひとこと要約

本稿は、直感的で幾何的・数学的な枠組みを用いて、4つの主要な状況—事前分布シフト、共変量シフト、コンセプトシフト、部分空間マッピング—を厳密に分析することで、ドメイン適応（DA）の教育的レビューを提供する。EMに基づくアルゴリズムを導出し、ベイズの定理を用いて、反復的リウェイトリングによりソース予測を再スケーリングすることで、ターゲットのクラス事前確率を推定できることを示している。

ABSTRACT

Standard supervised machine learning assumes that the distribution of the source samples used to train an algorithm is the same as the one of the target samples on which it is supposed to make predictions. However, as any data scientist will confirm, this is hardly ever the case in practice. The set of statistical and numerical methods that deal with such situations is known as domain adaptation, a field with a long and rich history. The myriad of methods available and the unfortunate lack of a clear and universally accepted terminology can however make the topic rather daunting for the newcomer. Therefore, rather than aiming at completeness, which leads to exhibiting a tedious catalog of methods, this pedagogical review aims at a coherent presentation of four important special cases: (1) prior shift, a situation in which training samples were selected according to their labels without any knowledge of their actual distribution in the target, (2) covariate shift which deals with a situation where training examples were picked according to their features but with some selection bias, (3) concept shift where the dependence of the labels on the features defers between the source and the target, and last but not least (4) subspace mapping which deals with a situation where features in the target have been subjected to an unknown distortion with respect to the source features. In each case we first build an intuition, next we provide the appropriate mathematical framework and eventually we describe a practical application.

研究の動機と目的

• 教師あり機械学習における学習（ソース）データとテスト（ターゲット）データの間の分布シフトの課題に対処すること。これは、標準的なMLの仮定を損なう。
• ドメイン適応（DA）と特にトランスファーラーニング（TL）において、用語の不一致と概念の重複が引き起こす混乱を解消すること。
• 4つの主要なDAシナリオに対して、体系的かつ概念的に整合性のあるフレームワークを提供すること。方法の網羅的リスト作成よりも明確さを重視する。
• 理論的統計的学習と実装の実務の間のギャップを埋めることで、直感、数学、実世界の応用を結びつける。

提案手法

• 事前分布シフトの状況において、未知のターゲットクラス事前確率を推定するために、期待最大化（EM）アルゴリズムを用いる。ラベル割り当てを潜在変数として扱う。
• クラス条件付き特徴密度がソースおよびターゲットドメイン間で同一であるという仮定の下で、同時分布の対数尤度を最大化することで、EMの更新則を導出する。
• ベイズの定理を用いて、ターゲットの後方確率を、ターゲットとソースのクラス事前確率の比でスケーリングされたソースの後方確率の再重み付けとして表現する。
• 反復的更新を実装する：まず、ソース予測からターゲットの後方確率を推定する（Eステップ）、次に、実証的平均を用いてターゲット事前確率を更新する（Mステップ）。
• 最適化中に確率単体制約（事前確率の合計が1に等しい）を満たすためにラグランジュ乗数を導入する。
• ターゲット事前確率の閉形式更新を確立する：$\theta_k^{(s+1)} = \frac{1}{m}\sum_{i=1}^{m} \hat{p}_T^{(s)}(\omega_k|\mathbf{x}_i)$ は、EM手順から導出される。

実験結果

リサーチクエスチョン

• RQ1 バイアスのあるラベル分布を有するソースドメインで訓練された分類器を、ラベル事前確率が未知かつ異なるターゲットドメインに適応する方法は何か？
• RQ2 ソースデータと特徴量のみが利用可能な状況で、ターゲット事前確率を一貫して推定できる数学的枠組みは何か？
• RQ3 潜在的なラベル割り当てが存在する状況で、EMアルゴリズムがどのように反復的リファインメントによる事前確率推定を可能にするか？
• RQ4 ターゲットとソースのクラス事前確率の比は、層別抽出における選択バイアスをどのように是正するか？
• RQ5 ヒューリスティックな手法に依存せずに、一連の原理から出発して、整合的な確率的アプローチをドメイン適応に導出できるか？

主な発見

• EMアルゴリズムは、ベイズの定理と実証的平均を用いた反復的リファインメントにより、ターゲットクラス事前確率を効果的に推定する。
• 導出された更新則 $\theta_k^{(s+1)} = \frac{1}{m}\sum_{i=1}^{m} \hat{p}_T^{(s)}(\omega_k|\mathbf{x}_i)$ は、事前分布シフトの仮定の下で、ターゲット事前確率の最尤推定に収束する。
• この手法はEMフレームワークに基づいて理論的に裏付けられており、標準的な正則性条件の下で収束が保証される。
• 未知のターゲット事前確率比を用いたソース後方確率の再重み付けにより、層別抽出における選択バイアスを適切に補正する。
• 導出過程から、$\theta_k$ のMステップ更新が、現在の推定値の下でクラス$k$ に割り当てられるサンプルの期待数に比例することを示しており、確率正規化を保証する。
• この手法は、ヒューリスティックなリウェイトリングやキャリブレーション手法に代わる、原理的で整合性のある代替手法を提供する。