[論文レビュー] Regularized Learning for Domain Adaptation under Label Shifts

Kamyar Azizzadenesheli, Anqi Liu+2 more|arXiv (Cornell University)|Mar 22, 2019

Domain Adaptation and Few-Shot Learning被引用数 56

ひとこと要約

正則化学習を用いたラベルシフト下の学習（RLLS）を導入。ソースとターゲット間のラベル分布シフトを正規化重み推定と Wasserstein様に似た一般化保証で補正する実用アルゴリズム。低サンプル・大きなシフトの regimes で特に prior methods を上回る。

ABSTRACT

We propose Regularized Learning under Label shifts (RLLS), a principled and a practical domain-adaptation algorithm to correct for shifts in the label distribution between a source and a target domain. We first estimate importance weights using labeled source data and unlabeled target data, and then train a classifier on the weighted source samples. We derive a generalization bound for the classifier on the target domain which is independent of the (ambient) data dimensions, and instead only depends on the complexity of the function class. To the best of our knowledge, this is the first generalization bound for the label-shift problem where the labels in the target domain are not available. Based on this bound, we propose a regularized estimator for the small-sample regime which accounts for the uncertainty in the estimated weights. Experiments on the CIFAR-10 and MNIST datasets show that RLLS improves classification accuracy, especially in the low sample and large-shift regimes, compared to previous methods.

研究の動機と目的

• ターゲットラベルが利用できない監視学習におけるラベルシフトを動機付け、対処する。
• 小規模サンプル段階でも頑健に機能する実用的な重み推定手順を開発する。
• ラベルシフト下でのターゲットドメイン分類器の理論的一般化境界を提供する。
• 重み推定の不確かさを緩和しターゲット性能を向上させるための正則化推定器を提案する。
• MNISTとCIFAR-10でRLLSを既存手法と比較して経験的に検証する。

提案手法

• ソース/ターゲットのラベル分布をpとqとし、ラベルシフトに対して重要度重み w(i)=q(i)/p(i) を定義・用いる。
• 線形モデル q-hat - C-hat 1 = C-hat theta を正則化して theta-hat を得て w = 1 + lambda theta-hat を得る、二段階の重み推定を提案する。
• ソースデータを重み集合とクラス集合に分割して重みを推定し、重み付き経験損失 L_n(h; w) で分類器を訓練する。
• RLLS分類器の次元独立な一般化境界を導出し、損失クラスの Rademacher 複雑さと発散項を介して関数クラスの複雑さに依存させる。
• 小サンプル段階で重み推定の影響を抑制する正則化推定量 w_hat = 1 + lambda theta_hat を導入し、lambda はターゲットサンプルサイズと重み推定の信頼度に基づいて選択する。
• さまざまなデータサンプルレジームで正則化と学習のバランスをとるための lambda と beta の選択指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットラベルが利用できないとき、ラベルシフトの重み q(y)/p(y) を、ラベル付きのソースデータとラベルなしのターゲットデータからどのように正確に推定できるか？
• RQ2 ラベルシフト下で再重み付けされたソースデータで訓練された分類器の一般化保証は何か、そして小サンプルレジームで重み推定の不確かさをどう考慮するべきか？
• RQ3 正則化された重み推定が、非重み付けや非正則化の重み付けと比べて予測性能を向上させるか。特に大きなシフトや限られたターゲットデータの下で？
• RQ4 提案された RLLS 法は、既存手法である BBSL などと比較して、さまざまなラベルシフトシナリオ下の大規模視覚データセットで経験的にどのように性能を示すか？

主な発見

• RLLS は、大きなシフト・低サンプル設定で重み推定誤差をオーダーオブマグニチュード単位で改善し、ベースラインに対して競争力のある精度向上を達成する。
• RLLS分類器の次元に依存しない一般化境界を導出し、ラベルシフト下での Excess-risk の保証を改善する。
• ターゲットデータが乏しい場合の高分散な重み推定を緩和する重み推定の正則化により、各レジームで頑健な性能を実現する。
• MNISTとCIFAR-10の経験的結果は、RLLS が重み推定とターゲット精度の点で一貫して BBSL を上回り、特に大きなシフトと限られたターゲットデータにおいて顕著である。
• 部分的に正則化された重み（lambda が 0 と 1 の間）は、中間的なターゲットサンプルレジームで最良の性能を発揮し、重みの不確かさレベルに適応する。
• この手法は、分割比 beta の選択、正則化強度 lambda の選択、および重み推定をブートストラップするためのデセンタード予測子 h_0 の使用について、実践的な指針を提供する。