[論文レビュー] The representer theorem for Hilbert spaces: a necessary and sufficient condition

Francesco Dinuzzo, Bernhard Schölkopf|arXiv (Cornell University)|May 9, 2012

Optimization and Variational Analysis参考文献 35被引用数 45

ひとこと要約

本稿は、ヒルバート空間における正則化汎関数の族が線形の代表者定理を満たすための必要十分条件を確立する。その条件とは、正則化子がノルムに関する非減少関数であることである。証明は、微分可能性の仮定を下半連続性に緩和することで、従来の結果を一般化しており、有限次元および無限次元のヒルバート空間の両方で成り立つ。これにより、解がデータに依存するベクトルで張られる有限次元部分空間に存在する条件が統一的に特徴づけられる。

ABSTRACT

A family of regularization functionals is said to admit a linear representer theorem if every member of the family admits minimizers that lie in a fixed finite dimensional subspace. A recent characterization states that a general class of regularization functionals with differentiable regularizer admits a linear representer theorem if and only if the regularization term is a non-decreasing function of the norm. In this report, we improve over such result by replacing the differentiability assumption with lower semi-continuity and deriving a proof that is independent of the dimensionality of the space.

研究の動機と目的

• ヒルバート空間における正則化汎関数が線形代表者定理を満たすための正確な条件を特定すること。
• 正則化子の微分可能性を仮定する従来の結果を一般化し、その仮定を下半連続性に緩和すること。
• 有限次元および無限次元の両方のヒルバート空間に適用可能な統一的な特徴づけを提供すること。
• 代表者定理が成り立つためには、正則化子が径数的かつノルムに関して非減少でなければならないことを確立すること。

提案手法

• 著者らは、$ L_i $ が有界線形汎関数であり、$ \Omega $ が下半連続正則化子であるような一般形式 $ J(w) = f(L_1w, \dots, L_\ell w) + \Omega(w) $ の正則化汎関数のクラスを分析する。
• 彼らは、$ \Omega(w) $ が $ \|w\| $ に関して非減少関数であるときかつそのときに限り線形代表者定理が成り立つことを、与えられた方向に直交する摂動の最小化に基づく構成的証明により示す。
• 証明は、パrameter $ \gamma $ に依存する関数族の分析に依拠しており、特定の列の有界性が、必要なノルムに基づく構造への収束を示す。
• 条件が必要かつ十分であることを確認するため、条件が満たされない場合の反例を構成し、条件が満たされる場合に代表者定理が成り立つことを示す。
• 証明は次元に依存せず、有限次元射影や基底展開に依存しない。
• 標準的な機械学習問題、例えばリッジ回帰、SVM、カーネルPCAにこの結果を適用し、正則化子が $ \|w\|^2 $ またはそれと類似する径数関数である場合に条件が満たされることを示す。

実験結果

リサーチクエスチョン

• RQ1 正則化子 $ \Omega $ がどのような条件下に、ヒルバート空間における正則化汎関数の任意の最小化子がデータ汎関数 $ L_i $ で張られる有限次元部分空間に存在するか。
• RQ2 従来の代表者定理の特徴づけで要求される正則化子の微分可能性仮定を、下半連続性に緩和しても、特徴づけが失われないか。
• RQ3 有限次元および無限次元のヒルバート空間の両方に同時に適用可能な統一された条件は存在するか。
• RQ4 広範な損失関数のクラスに対して線形代表者性が保証されるための $ \Omega $ の正確な構造は何か。
• RQ5 ノルム球の指示関数のような非微分可能な正則化子に対しても、代表者定理は成り立つか。

主な発見

• 線形代表者定理は、ヒルバート空間における正則化汎関数の族が成り立つための必要十分条件として、正則化子 $ \Omega $ がノルム $ \|w\| $ に関して非減少関数であることである。
• 本結果は、$ \Omega $ に対する微分可能性要件を撤廃し、下半連続性に置き換えることで、従来の研究を一般化している。
• 特徴づけは有限次元および無限次元の両方のヒルバート空間で有効であり、次元に依存しない証明がなされている。
• 条件は必要かつ十分である：$ \Omega $ がノルムに関して非減少でない場合、データ汎関数の張る空間に最小化子が存在しないような関数が存在する。
• 本結果は、リッジ回帰、SVM、カーネルPCAなどの標準的な機械学習モデルに適用可能であり、正則化子が $ \|w\|^2 $ またはノルムの単調関数である場合に条件が満たされる。
• 証明により、$ \Omega $ が径数的かつ非減少であれば、許容される最小化子はデータ汎関数の張る空間内に限られることが示された。