[論文レビュー] Optimal rates for the regularized learning algorithms under general source condition

S. Sivananthan Abhishake|arXiv (Cornell University)|Nov 7, 2016

Numerical methods in inverse problems被引用数 3

ひとこと要約

本稿は、ベクトル値関数空間における多項式固有値減衰を伴う一般化されたソース条件の下で、Tikhonov正則化学習アルゴリズムの最適収束速度を確立する。作用素単調インデックス関数を導入することで、ミニマックス最適な速度を導出し、学習誤差の根本的下界を同定し、不適切に設定された学習問題における正則化の包括的な理論的枠組みを提供する。

ABSTRACT

We consider the learning algorithms under general source condition with the polynomial decay of the eigenvalues of the integral operator in vector-valued function setting. We discuss the upper convergence rates of Tikhonov regularizer under general source condition corresponding to increasing monotone index function. The convergence issues are studied for general regularization schemes by using the concept of operator monotone index functions in minimax setting. Further we also address the minimum possible error for any learning algorithm.

研究の動機と目的

• 多項式固有値減衰を伴う一般化されたソース条件の下で、Tikhonov正則化の収束挙動を分析すること。
• 作用素単調インデックス関数を用いて、標準的なソース条件を超えた収束速度解析を拡張すること。
• ベクトル値関数学習の文脈において、正則化スキームのミニマックス最適速度を導出すること。
• 指定された条件下で、いかなる学習アルゴリズムが達成可能な最小の誤差を同定すること。

提案手法

• 作用素単調インデックス関数を用いてソース条件を一般化し、さまざまな滑らかさ仮定の統一的取り扱いを可能にする。
• 収束速度はミニマックスフレームワークを用いて導出され、すべての学習アルゴリズムにおける最良の性能を特徴付ける。
• 学習誤差のバインディングに、積分作用素の固有値の減衰率を含むスペクトル特性を活用する。
• 関数解析的手法、特にベクトル値再生核ヒルベルト空間におけるヒルベルト＝シュミット作用素の使用を通じて理論的境界を確立する。
• 最小の可能な誤差は、特定のアルゴリズムに依存しない下界として導出され、ソース条件と固有値減衰に基づく。

実験結果

リサーチクエスチョン

• RQ1 一般化されたソース条件と多項式固有値減衰の下で、Tikhonov正則化の最適収束速度は何か？
• RQ2 作用素単調インデックス関数は、正則化理論における標準的ソース条件をどのように一般化するか？
• RQ3 指定されたソース条件の下で、いかなる学習アルゴリズムが達成可能なミニマックス最適速度は何か？
• RQ4 指定された条件下で、いかなる学習アルゴリズムが避けられない根本的誤差下限は何か？

主な発見

• 本稿は、一般化されたソース条件の下でTikhonov正則化の収束速度がミニマックス最適速度と一致することを確立し、その最適性を証明する。
• 作用素単調インデックス関数の使用により、古典的仮定よりも広範かつ柔軟なソース条件の特徴付けが可能になる。
• 導出された収束速度は、固有値の多項式減衰率とインデックス関数が符号する滑らかさに明示的に依存する。
• 学習誤差の根本的下限が導出され、これはアルゴリズムに依存せず、ソース条件と固有値減衰にのみ依存する。