[論文レビュー] Regularised Least-Squares Regression with Infinite-Dimensional Output Space

Jun-Hyung Park, Krikamol Muandet|arXiv (Cornell University)|Oct 21, 2020

Face and Expression Recognition参考文献 15被引用数 5

ひとこと要約

本稿は、出力空間が無限次元で、入力領域がコンパクトでない可能性があるベクトル値再生核ヒルベルト空間（vvRKHS）における正則化最小二乗回帰の普遍的一貫性を確立する。非コンパクト作用素のスペクトル理論と最小限の仮定（出力の2階モーメントが有限であることのみ）を用いて、推定子が真の条件付き期待値に確率収束することを証明している。有界性やコンパクト性の仮定なしに成立する。

ABSTRACT

This short technical report presents some learning theory results on vector-valued reproducing kernel Hilbert space (RKHS) regression, where the input space is allowed to be non-compact and the output space is a (possibly infinite-dimensional) Hilbert space. Our approach is based on the integral operator technique using spectral theory for non-compact operators. We place a particular emphasis on obtaining results with as few assumptions as possible; as such we only use Chebyshev's inequality, and no effort is made to obtain the best rates or constants.

研究の動機と目的

• 無限次元出力空間および非コンパクト入力領域への正則化最小二乗回帰理論の拡張。
• 特に出力の有限2階モーメントを唯一の仮定として、ベクトル値RKHS回帰の普遍的一貫性の確立。
• 入力空間の有界性やコンパクト性といった強い仮定を避けること。最小限の条件による一貫性を焦点とする。
• 真の回帰関数がRKHSに属するwell-specifiedな場合における一様収束速度の導出。
• 無限次元出力空間の解析に、非コンパクト作用素のスペクトル理論を活用すること。

提案手法

• 非コンパクト作用素のスペクトル理論に基づく積分作用素技術を用いて、正則化回帰問題を分析する。
• 作用素値カーネルを用いたベクトル値再生核ヒルベルト空間（vvRKHS）フレームワークを採用し、ヒルベルト空間への関数のマッピングをモデル化する。
• 最良のレートや定数を最適化せずに、チェビシェフの不等式を適用して確率収束を導出する。
• Tikhonov型汎関数を用いて正則化解を定義し、経験的リスクとvvRKHS内でのヒルベルトノルムペナルティの和を最小化する。
• 近似誤差と推定誤差に分解することで、推定誤差の上限を確立する。
• 埋め込み作用素 ι: H → L²(X, P_X; Y) を定義し、RKHSノルムと関数のL²(P_X)-ノルムの関係を関連付ける。

実験結果

リサーチクエスチョン

• RQ1 出力空間が無限次元で、入力空間が非コンパクトであるvvRKHSにおいて、正則化最小二乗回帰の普遍的一貫性を確立できるか？
• RQ2 推定子が真の条件付き期待値に確率収束するための最小限の仮定は何か？
• RQ3 真の関数がRKHSに属するwell-specifiedな場合、推定誤差はどのように振る舞うか？
• RQ4 出力分散が有界で、真の関数のRKHSノルムが有界である確率測度の族において、一様収束速度を導出できるか？
• RQ5 非コンパクト作用素のスペクトル理論は、無限次元出力を持つカーネル法の収束解析において果たす役割は何か？

主な発見

• 出力の2階モーメントが有限であるという唯一の仮定の下で、普遍的一貫性が成立する：E[||Y||²_Y] < ∞。
• 正則化パラメータ λ_n が O(n⁻¹/²) より遅く 0 に収束する限り、推定子は標本サイズが増加するにつれて真の条件付き期待値 f* に確率収束する。
• well-specifiedな状況（f* = ιf*ₕ で、ある f*ₕ ∈ H に対して ||f*ₕ||_H ≤ C）では、λ_n = O(n⁻¹/⁴) のとき収束速度は O_P(n⁻¹/⁴) である。
• 一様高確率バインディングが確立された：すべての P ∈ P(M,C) に対して、P(||ιf̂_n,λ − f*||²₂ ≥ 2B²M/(nλ²δ) + 2λC) ≤ δ が成り立つ。ここで M は E[||Y||²_Y] を、C は ||f*ₕ||_H をそれぞれ有界化する。
• Y の有界性や入力空間のコンパクト性といった強い仮定を避けており、Bochner可積分性とスペクトル理論のみに依存している。
• 主な技術的ツールは、作用素が非コンパクトであっても、カーネルに関連する積分作用素のスペクトル分解の使用である。