[論文レビュー] Lepskii Principle in Supervised Learning

Gilles Blanchard, Peter Mathé+1 more|arXiv (Cornell University)|May 26, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 26被引用数 6

ひとこと要約

本稿は、Tikhonov正則化における正則化パラメータ選択のためのデータ駆動型手法を提案する、Lepskiiの原則の新しい応用を紹介している。近似誤差と標本誤差のバランスをとることで、滑らかさに関する事前知識がなくても最適収束率を達成し、一般条件下で学習レートの理論的最適性を示している。

ABSTRACT

In the setting of supervised learning using reproducing kernel methods, we propose a data-dependent regularization parameter selection rule that is adaptive to the unknown regularity of the target function and is optimal both for the least-square (prediction) error and for the reproducing kernel Hilbert space (reconstruction) norm error. It is based on a modified Lepskii balancing principle using a varying family of norms.

研究の動機と目的

• 関数の滑らかさに関する事前知識がなくとも、Tikhonov正則化における最適正則化パラメータの選択という課題に取り組むこと。
• 教師あり学習における目標関数の未知の滑らかさに適応するデータ駆動型手法を開発すること。
• 最小最大収束率に達することによって、提案手法の理論的最適性を確立すること。
• 統計的推定から発展したLepskiiの原則を、再生核ヒルベルト空間（RKHS）を用いた教師あり学習の文脈に拡張すること。
• 正則化パラメータの新しい適応的選択ルールを通じて、近似誤差と標本誤差のバランスを取ること。

提案手法

• Lepskiiの原則に基づき、データ駆動推定子の経験的ノルムを用いて正則化パラメータ λ のデータ駆動的選択ルールを提案する。
• 複数の λ 値において、正則化推定子と真の関数との差の経験的ノルムを比較するための臨界閾値関数を導入する。
• 演算子 (B + λ*)^{1/2} を用いて重み付きヒルベルト空間ノルムを定義し、近似誤差と標本誤差のバランスをとる制御を可能にする。
• ||(B + λ*)^{1/2}(fρ - fλ*)|| ≤ C ||(B + λ*)^{1/2}(fλ* - f^λ)|| という条件を満たす λ を選択することで、組み合わせ誤差を最小化する。
• 安定性と収束性を保証する再生核ヒルベルト空間（RKHS）フレームワークにおけるTikhonov正則化にこの原則を適用する。
• バイアスとバリアンスのトレードオフを経験的リスク最小化にペナルティ項を加えることで制御する選択ルールを導出する。

実験結果

リサーチクエスチョン

• RQ1 Lepskiiの原則は、自動正則化パラメータ選択のための教師あり学習に効果的に適応可能か？
• RQ2 提案手法の理論的性能は、既知の最小最大レートと比較して収束率においてどうなるか？
• RQ3 事前情報が欠如する状況下で、目標関数の未知の滑らかさは、この手法がどのように処理されるか？
• RQ4 誤差バウンドの観点から、選択された正則化パラメータの最適性を保証する条件は何か？
• RQ5 理論的および実践的観点から、標準的な交差検証や他のパrameter選択技術と比較して、この手法はどのように差をつけるか？

主な発見

• 提案手法は、一般の滑らかさ仮定の下で、学習誤差の最適収束率を達成し、最小最大下界と一致する。
• 正則化パラメータは、目標関数の滑らかさクラスに関する知識がなくても、完全にデータに依存して適応的に選択される。
• 異なる λ 値における経験的ノルムの比較を通じて、近似誤差と標本誤差のバランスを取ることで、ロバスト性が確保される。
• 理論的分析により、選択された λ が条件 ||(B + λ*)^{1/2}(fρ - fλ*)|| ≤ C ||(B + λ*)^{1/2}(fλ* - f^λ)|| を満たすことが確認され、最適誤差制御が実現される。
• 核関数および入力分布に関する標準的仮定の下で、RKHSにおけるTikhonov正則化の枠組みで有効であり、収束レートが導出される。
• 交差検証や事前のチューニングの必要がなく、理論的裏付けに基づいた適応的代替手法を提供する。