[論文レビュー] A new similarity measure for covariate shift with applications to nonparametric regression

Reese Pathak, Cong Ma+1 more|arXiv (Cornell University)|Feb 6, 2022

Bayesian Methods and Mixture Models被引用数 6

ひとこと要約

本稿は、非パラメトリック回帰における共変量シフトを特徴付けるために、源分布および標的分布下での半径 $h$ の球体の確率比の統合に基づく新しい類似尺度 $\rho_h(P,Q)$ を導入する。 Hölder空間上でのNadaraya-Watson推定量の鋭いミニマックスレートを確立し、推定の難易度が $\rho_h(P,Q)$ の $h$ におけるスケーリングに完全に依存することを示し、従来の指標（例：転送指数）に比べて、より細かく鋭いレート特徴付けを実現する。

ABSTRACT

We study covariate shift in the context of nonparametric regression. We introduce a new measure of distribution mismatch between the source and target distributions that is based on the integrated ratio of probabilities of balls at a given radius. We use the scaling of this measure with respect to the radius to characterize the minimax rate of estimation over a family of Hölder continuous functions under covariate shift. In comparison to the recently proposed notion of transfer exponent, this measure leads to a sharper rate of convergence and is more fine-grained. We accompany our theory with concrete instances of covariate shift that illustrate this sharp difference.

研究の動機と目的

• トレーニングとテストの共変量分布が異なるが応答の条件付き分布は固定である非パラメトリック回帰における共変量シフトの課題に対処すること。
• 従来の指標（例：有界な尤度比や転送指数）に比べ、推定の難易度をより洗練され、正確に特徴付けること。
• 提案された類似尺度 $\rho_h(P,Q)$ のスケーリング行動と明示的に結びつけることで、Nadaraya-Watson推定量のミニマックス最適レートを確立すること。

提案手法

• 源分布下での球体の確率の逆数を用いて分布不一致を測定する新しい類似尺度 $\rho_h(P,Q) = \int_{\mathcal{X}} \frac{1}{P(\mathsf{B}(x,h))} \, dQ(x)$ を提案する。
• 非パラメトリック回帰における共変量シフトの難易度を、$\rho_h(P,Q)$ の半径 $h$ におけるスケーリングの分析によって特徴付ける。
• Nadaraya-Watson推定量の平均二乗誤差に対する上界を、$\rho_h(P,Q)$ に明示的に依存する形で導出する。これにより、推定誤差がこの尺度によって制御されることを示す。
• Hölder連続な回帰関数に対する一致するミニマックス下界を確立し、上界が最悪ケースにおいて最適であることを証明する。
• $\rho_h(P,Q)$ を従来の指標（例：転送指数、尤度比に基づく境界）と比較し、非対称性や詳細な難易度の捉え方において優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 従来の指標よりも、共変量シフト下での非パラメトリック回帰の難易度をどれほど洗練して正確に特徴付けることができるか？
• RQ2 提案された類似尺度 $\rho_h(P,Q)$ のスケーリングとミニマックス推定レートとの正確な関係は何か？
• RQ3 Nadaraya-Watson推定量は共変量シフト下で最適であり得るか？ その性能は $\rho_h(P,Q)$ によって完全に特徴付けられるか？
• RQ4 転送指数や尤度比に基づく指標と比較して、新しい尺度 $\rho_h(P,Q)$ は鋭さと表現力において優れているか？
• RQ5 基礎となる空間 $\mathcal{X}$ の幾何的・距離的性質を用いて、類似尺度 $\rho_h(P,Q)$ を制御可能か？

主な発見

• 共変量シフト下でのHölder空間上での非パラメトリック回帰のミニマックスリスクは、$\rho_h(P,Q)$ の半径 $h$ におけるスケーリングに完全に依存しており、タイトな特徴付けが確立された。
• 提案された類似尺度 $\rho_h(P,Q)$ は、源分布と標的分布の非対称性を捉える点で、転送指数よりも鋭く、より詳細な推定レートを導く。
• Nadaraya-Watson推定量の平均二乗誤差に対する上界は、$\rho_h(P,Q)$ に明示的に表現されており、推定誤差が $\rho_h(P,Q)$ に応じて増加することを示している。
• 一致するミニマックス下界が導出され、上界が最適であり、同じ $\rho_h(P,Q)$ のスケーリング下では、いかなる推定量もより良いレートを達成できないことが証明された。
• 一様分布や $[0,1]$ 上のべき則分布などの具体的な例において、$\rho_h(P,Q)$ が $h^{-\gamma}$ にスケーリングすることを示し、適切な条件下で既知の最適非パラメトリックレートと一致することを示した。