[論文レビュー] Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift

Kaizheng Wang|arXiv (Cornell University)|Feb 20, 2023

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、標本分布のずれ（covariate shift）下でのカーネルリッジ回帰に対する擬似ラベル化手法を提案する。ラベルなしのターゲットデータとラベルありのソースデータを用いて、補完モデルと複数の候補モデルを学習する。補完モデルから得られる擬似ラベルを用いて最も性能の良い候補モデルを選択することで、対数因子を除いてミニマックス最適な誤差率を達成し、ラベルなしのターゲットデータを必要とせず、ターゲット分布および標本分布のずれの構造に適応する。

ABSTRACT

We develop and analyze a principled approach to kernel ridge regression under covariate shift. The goal is to learn a regression function with small mean squared error over a target distribution, based on unlabeled data from there and labeled data that may have a different feature distribution. We propose to split the labeled data into two subsets, and conduct kernel ridge regression on them separately to obtain a collection of candidate models and an imputation model. We use the latter to fill the missing labels and then select the best candidate accordingly. Our non-asymptotic excess risk bounds demonstrate that our estimator adapts effectively to both the structure of the target distribution and the covariate shift. This adaptation is quantified through a notion of effective sample size that reflects the value of labeled source data for the target regression task. Our estimator achieves the minimax optimal error rate up to a polylogarithmic factor, and we find that using pseudo-labels for model selection does not significantly hinder performance.

研究の動機と目的

• ラベルなしのターゲットデータとラベルありのソースデータしか入手できない状況で、ターゲット分布上で小さな平均二乗誤差を達成する回帰モデルを訓練すること。
• ラベルが欠落しているターゲット分布における従来の検証手法が失敗する標本分布のずれ下で、モデル選択のための原理的かつ整合的な手法を開発すること。
• 補完モデルを介した擬似ラベル化が、補完モデルが不完全であっても、性能の著しい低下を伴わずに効果的なモデル選択を可能にすることを示すこと。
• ターゲット分布の構造および標本分布のずれの度合いに適応する非漸近的過剰リスクの境界を確立すること。
• モデル選択における「しゅんかいとたまご」のジレンマを解消するため、擬似ラベルのオーバーヘッドが選択精度の向上に比べて無視できるほど小さいことを証明すること。

提案手法

• ラベルありのソースデータを2つの互いに素な部分集合に分割する：一方を補完モデルの学習に、他方を異なる正則化パラメータを用いた複数の候補カーネルリッジ回帰モデルの学習に使用する。
• ソースデータの一部を用いて補完モデルを学習し、ラベルなしのターゲットデータのラベルを予測することで、モデル評価用の擬似ラベルを生成する。
• 残りのソースデータを用いて、さまざまなペナルティパラメータを用いたカーネルリッジ回帰で候補モデルを学習する。
• ホールドアウト検証を用いて、擬似ラベル化されたターゲットデータを用いてモデル選択を行う。これにより、検証付きの標準的なKRR問題に帰着される。
• 補完モデルの影響を分析するための新しいバイアス・バリアンス分解を導入し、ノイズの多い擬似ラベルでも有用であることを示す。
• 理論的分析により、カーネルおよび分布にやや強い正則性条件が課せられる条件下で、最終的な推定器が対数因子を除いてミニマックス最適な誤差率を達成することを確立する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分布にラベルが欠落している状況で、擬似ラベル化をカーネルリッジ回帰のモデル選択に効果的に用いることができるか？
• RQ2 異なる分布（ソース）で学習された補完モデルから得られる擬似ラベルを用いることで、ターゲット分布に対する有効かつ適応的な推定器が得られるか？
• RQ3 補完誤差がモデル選択性能に与える理論的影響は何か？ また、ミニマックス最適性を保証する形でその影響をバインドできるか？
• RQ4 提案手法は、未知の標本分布のずれおよびターゲット回帰関数の固有の滑らかさにどのように適応するか？
• RQ5 合成ラベルを用い、かつ補完モデルが最適でない場合でも、ミニマックス最適な誤差率を達成できるか？

主な発見

• 提案された推定器は、補完モデルが異なる分布で学習された場合でさえ、標本分布のずれ下でのカーネルリッジ回帰において、対数因子を除いてミニマックス最適な誤差率を達成する。
• 補完誤差に対してロバストである：擬似ラベルのオーバーヘッドは、補完モデルの平均二乗誤差に比べて無視できるほど小さいため、忠実なモデル選択が可能である。
• 理論的分析により、擬似ラベル化下でのモデル選択に特有の新しいバイアス・バリアンス分解が明らかになった。これにより、高誤差の擬似ラベルでも最適なモデル選択が可能であることが示された。
• 未知のターゲット分布の構造および標本分布のずれの度合いに適応するが、ずれの性質や真の回帰関数の事前知識は不要である。
• RKHSの複雑さおよび共変量のずれの集中度に依存する高確率の過剰リスク境界を達成し、良好な有限標本性能を示した。
• 理論的境界による実証的検証により、ホールドアウト検証がターゲットデータで利用可能である場合とほぼ同等の性能を達成することが確認された。