[論文レビュー] Sobolev Norm Learning Rates for Regularized Least-Squares Algorithm

Simon Fischer, Ingo Steinwart|arXiv (Cornell University)|Feb 23, 2017

Sparse and Compressive Sensing Techniques参考文献 31被引用数 24

ひとこと要約

この論文は、真の回帰関数が仮説空間に含まれない場合でさえも、標準的な $L_2$-ノルムよりも強いソボレフ型ノルムにおける正則化最小二乗法の学習率を確立する。積分作用素技術と新しい埋め込み性質を組み合わせることで、補間空間における有限標本バウンドと最適収束速度を導出し、ハードな学習状況における初めての $L_\infty$-ノルムの学習速度を達成する。

ABSTRACT

Learning rates for least-squares regression are typically expressed in terms of $L_2$-norms. In this paper we extend these rates to norms stronger than the $L_2$-norm without requiring the regression function to be contained in the hypothesis space. In the special case of Sobolev reproducing kernel Hilbert spaces used as hypotheses spaces, these stronger norms coincide with fractional Sobolev norms between the used Sobolev space and $L_2$. As a consequence, not only the target function but also some of its derivatives can be estimated without changing the algorithm. From a technical point of view, we combine the well-known integral operator techniques with an embedding property, which so far has only been used in combination with empirical process arguments. This combination results in new finite sample bounds with respect to the stronger norms. From these finite sample bounds our rates easily follow. Finally, we prove the asymptotic optimality of our results in many cases.

研究の動機と目的

• カーネルベースの回帰において、標準的な $L_2$-ノルムを超えるより強いノルム、例えばソボレフノルムや補間ノルムへの学習速度分析を拡張すること。
• 真の回帰関数 $f^*_P$ が再生核ヒルベルト空間 (RKHS) に含まれないというハードな学習状況に対処すること。
• $L_2$ と RKHS $H$ の間の連続的スケール $[H]^\gamma$ におけるノルムの有限標本バウンドと学習速度を導出すること。
• 多くの場合、導出された学習速度が漸近的に最適であり、最小最大最適性を満たすことを証明すること。
• 正則化最小二乗法アルゴリズムにおいて、ハードな学習状況における初めての $L_\infty$-ノルムの学習速度を確立すること。

提案手法

• 一般的に $L_2$-ノルムの学習速度に用いられる積分作用素技術と、これまであまり活用されていなかった RKHS の埋め込み性質を組み合わせる。
• $\gamma \in (0,1)$ に対して補間ノルムのスケール $[H]^\gamma$ を導入し、$[H]^0 = L_2$, $[H]^1 = H$ であり、$[H]^\gamma$ は分数階ソボレフ空間やベゾフ空間に対応する。
• ヒルベルト空間値の確率変数に対するベルンシュタイン型不等式を用いて、経験過程の成分を制御する。
• ヒルベルト＝シュミット作用素に対する集中不等式を適用し、経験的カーネル作用素とその期待値との乖離をバウンドする。
• 積分作用素フレームワークと埋め込み条件の相互作用を用いて、一般化誤差 $\|f_{D,\lambda} - f^*_P\|_{[H]^\gamma}$ に対する有限標本バウンドを導出する。
• スペクトル性質と埋め込み条件を活用して、正則化解の stronger $[H]^\gamma$-ノルムにおける崩壊の分析により、学習速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 真の関数 $f^*_P \notin H$ の場合でも、正則化最小二乗回帰において $L_2$-ノルムを超えるより強いノルムでの学習速度を確立できるか？
• RQ2 RKHS の埋め込み性質が $L_2$-ノルムを超える学習速度の向上に果たす役割は何か？
• RQ3 導出された補間ノルム $[H]^\gamma$ における学習速度は、最小最大の意味で最適か？
• RQ4 積分作用素技術を用いて、ハードな学習状況下で $L_\infty$-ノルムの学習速度を達成できるか？
• RQ5 積分作用素法と埋め込み性質の組み合わせが、よりタイトな有限標本バウンドをどのようにもたらすか？

主な発見

• 真の関数 $f^*_P \notin H$ の場合でさえも、$\gamma \in (0,1)$ に対して補間ノルム $[H]^\gamma$ における一般化誤差の有限標本バウンドを確立する。
• $[H]^\gamma$-ノルムにおける学習速度は、多くの場合で漸近的に最適であり、既知の最小最大下界と一致する。
• ソボレフ空間やベゾフ空間の RKHS に対しては、ノルム $[H]^\gamma$ が古典的な分数階ソボレフノルムに対応し、アルゴリズムを変更せずに微分の推定が可能になる。
• 著者らは、ハードな学習状況下で初めて $L_\infty$-ノルムの学習速度を導出し、埋め込み性質と積分作用素技術によって達成する。
• 埋め込み条件が成り立つ場合、Blanchard と Mücke (2014) や Lin 他 (2017) の先行研究を上回る、より速い収束速度を達成する。
• 作用素ノルムを制御するために、関数 $f_{\lambda,\alpha}(t) = \frac{t^\alpha}{(\lambda + t)^\alpha}$ の上界 $\sup_t f_{\lambda,\alpha}(t) \leq \lambda^{\alpha-1}$ が用いられ、これが解析において極めて重要である。