[論文レビュー] On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression Estimators

Zejian Liu, Meng Li|arXiv (Cornell University)|Jun 2, 2020

Machine Learning and Algorithms参考文献 64被引用数 7

ひとこと要約

本稿は、多次元の確率的設計設定における任意の順序の混合偏微分の非パラメトリック推定のためのプラグイン型カーネルリッジ回帰（KRR）推定量を提案する。強いL∞ノルムの下で漸近的でない誤差バウンドを確立し、同じチューニングパラメータを用いてH"olderとSobolevクラスにおいてほぼミニマックス最適なレートを達成することを示し、自動適応と簡素化されたチューニングを可能にする。

ABSTRACT

We study the problem of estimating the derivatives of a regression function, which has a wide range of applications as a key nonparametric functional of unknown functions. Standard analysis may be tailored to specific derivative orders, and parameter tuning remains a daunting challenge particularly for high-order derivatives. In this article, we propose a simple plug-in kernel ridge regression (KRR) estimator in nonparametric regression with random design that is broadly applicable for multi-dimensional support and arbitrary mixed-partial derivatives. We provide a non-asymptotic analysis to study the behavior of the proposed estimator in a unified manner that encompasses the regression function and its derivatives, leading to two error bounds for a general class of kernels under the strong $L_\infty$ norm. In a concrete example specialized to kernels with polynomially decaying eigenvalues, the proposed estimator recovers the minimax optimal rate up to a logarithmic factor for estimating derivatives of functions in Hölder and Sobolev classes. Interestingly, the proposed estimator achieves the optimal rate of convergence with the same choice of tuning parameter for any order of derivatives. Hence, the proposed estimator enjoys a extit{plug-in property} for derivatives in that it automatically adapts to the order of derivatives to be estimated, enabling easy tuning in practice. Our simulation studies show favorable finite sample performance of the proposed method relative to several existing methods and corroborate the theoretical findings on its minimax optimality.

研究の動機と目的

• 多次元の確率的設計設定における任意の順序の混合偏微分の推定のための統一的フレームワークの構築。
• 従来の手法では一般的に難しい、異なる微分順序におけるチューニングパラメータ選択の課題に対処すること。
• カーネルリッジ回帰を用いた導出推定のための漸近的でない理論的保証を提供すること。
• 同じチューニングパラメータがすべての微分順序で最適な収束レートを達成できることを示し、プラグイン型動作を可能にすること。

提案手法

• 微分順序に依存しないチューニングや反復的処理を回避するため、KRR解を直接微分して導出を直接推定するプラグイン型KRR推定量を提案する。
• 一般のカーネルクラスに対して強いL∞ノルムの下で誤差バウンドを導出するための漸近的でない解析フレームワークを用いる。
• H"olderおよびSobolevクラスにおける回帰関数の文脈で、任意の順序の混合偏微分の収束レートを導出する。
• 多項式的に減少する固有値を持つカーネルに対して、推定量がほぼミニマックス最適なレートを達成することを確立する。
• 同じチューニングパラメータ選択がすべての微分順序で最適な収束レートをもたらすことを示し、プラグイン型チューニングを可能にする。
• ノルム不等式および固有値の減少仮定（例：µi ≍ i−2α）を用いて、バイアスおよびバリアンス成分をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 再チューニングなしに、同じカーネルリッジ回帰推定量がすべての微分順序で最適な収束レートを達成できるか？
• RQ2 強いL∞ノルムの下で、KRRに基づく導出推定量の漸近的でない誤差挙動はいかなるものか？
• RQ3 有限標本性能およびチューニングの複雑さの観点から、提案手法は既存手法と比較してどのように異なるか？
• RQ4 H"olderおよびSobolevクラスにおいて、同じチューニングパラメータが異なる微分順序のすべてでミニマックス最適なレートを達成できるか？
• RQ5 カーネルの固有値の減少と、その結果生じる導出推定誤差との理論的関係は何か？

主な発見

• 提案されたプラグイン型KRR推定量は、強いL∞ノルムの下でH"olderおよびSobolevクラスにおける導出に対してほぼミニマックス最適な収束レートを達成する。
• 同じチューニングパラメータ選択がすべての微分順序で最適なレートをもたらし、実装の簡素化を可能にするプラグイン性を示している。
• 最適なチューニングパラメータは λ ≍ (log n / n)^(2α/(2α+1)) であり、必要な条件 ˜κ²α,λ = o(√(n/log n)) を満たす。
• バイアス項は λ^(1/2 - m/(2α)) として減少し、バリアンス項は λ^(-2m+1)/(4α) × √(log n / n) として減少し、最適なλで和が最小化される。
• シミュレーション結果は、局所多項式およびスムージングスプライン推定量を含むベンチマーク手法と比較して、良好な有限標本性能を示している。
• Matérnカーネルはほとんどの場合で中央値RMSEが最も良く、提案されたKRR推定量はすべての微分順序で競争力のある性能を示している。