[論文レビュー] Optimal Rates for Regularized Conditional Mean Embedding Learning

Zhu Li, Dimitri Meunier+2 more|arXiv (Cornell University)|Aug 2, 2022

Statistical Methods and Inference被引用数 9

ひとこと要約

本稿は、テンソル積構成による新規のベクトル値補間空間を導入することで、不適合設定下における正則化付き条件付き平均埋め込み（CME）の最適な学習率を確立した。最初の一致する下界を証明し、有限次元のターゲットRKHSを仮定しないで、最適な O(log n / n) のレートを達成した。これは、一般条件下におけるCMEの一貫性理論における長年のギャップを解消するものである。

ABSTRACT

We address the consistency of a kernel ridge regression estimate of the conditional mean embedding (CME), which is an embedding of the conditional distribution of $Y$ given $X$ into a target reproducing kernel Hilbert space $\mathcal{H}_Y$. The CME allows us to take conditional expectations of target RKHS functions, and has been employed in nonparametric causal and Bayesian inference. We address the misspecified setting, where the target CME is in the space of Hilbert-Schmidt operators acting from an input interpolation space between $\mathcal{H}_X$ and $L_2$, to $\mathcal{H}_Y$. This space of operators is shown to be isomorphic to a newly defined vector-valued interpolation space. Using this isomorphism, we derive a novel and adaptive statistical learning rate for the empirical CME estimator under the misspecified setting. Our analysis reveals that our rates match the optimal $O(\log n / n)$ rates without assuming $\mathcal{H}_Y$ to be finite dimensional. We further establish a lower bound on the learning rate, which shows that the obtained upper bound is optimal.

研究の動機と目的

• ターゲットRKHSが無限次元である場合を含め、不適合設定下におけるCME推定子の最適な学習レートの欠落を解消すること。
• E[g(Y)|X=·] ∈ HX といった制限の厳しい仮定を避ける、CMEを定義する原理的フレームワークを構築すること。
• 一般な滑らかさおよび正則性条件の下で、経験的CME推定子の一貫性と収束レートを確立すること。
• 学習レートに対する一致する下界を証明し、導出された上界が最適であることを示すこと。

提案手法

• 入力および出力のRKHS間のテンソル積構成を用いて、新規のベクトル値補間空間を導入し、CMEのより一般的な特徴付けを可能にする。
• ヒルベルト＝シュミット作用素の空間とこの新規のベクトル値補間空間との間の同型写像を確立し、作用素論的および測度論的CME定義の理論的連結を図る。
• 正則化付きカーネルリッジ回帰を用いてCMEを推定し、補間空間を活用して収束レートを導出する。
• ベルンシュタインの不等式および固有値の崩壊仮定（EVD）を用いて、経験的リスクと一般化誤差を制御する。
• f ∈ [H]β_X によってパラメータ化された条件付き分布の族を用いた新規な下界構築により、上界の改善が不可能であることを示す。
• 文献[29, 26, 40, 11]の理論的道具を統合し、測度論的CME定義と補間空間理論を統合することで、頑健な解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ターゲットRKHSが有限次元でない場合を含め、有限次元のターゲットRKHSを仮定しない不適合設定下で、CME推定子の最適な学習レートを達成できるか？
• RQ2 弱い仮定の下で、作用素論的および測度論的CME定義を統合する一般的なフレームワークは存在するか？
• RQ3 上界の最適性を確認するために、一致する下界を導出できるか？
• RQ4 提案された補間空間フレームワークは、真のCMEが仮説空間の外にある場合でも、一貫した推定を可能にするか？

主な発見

• 本稿は、ターゲットRKHSが無限次元であっても、不適合設定下における正則化付きCME推定子に対して、最適な学習レート O(log n / n) を確立した。
• 導出された上界が理論的下界と一致しており、与えられた仮定の下ではこのレートを改善できないことを証明した。
• 提案されたベクトル値補間空間は、従来の研究で必要とされる単射性および固有値の崩壊仮定を回避する、厳密で一般的なフレームワークを提供する。
• ヒルベルト＝シュミット作用素と新規補間空間との間の同型写像により、作用素ベースと関数ベースのCME定義の間の明確な理論的接続が実現された。
• 解析により、真の条件付き平均が仮説空間に含まれない場合でも、それが補間空間に含まれていれば、CMEは一貫して推定可能であることが示された。
• 下界構築では、f ∈ [H]β_X によってパラメータ化された条件付き分布の族が用いられ、与えられた滑らかさ条件の下では、より速いレートは不可能であることが示された。