[論文レビュー] On Asymptotic Properties of Hyperparameter Estimators for Kernel-based Regularization Methods

Biqiang Mu, Tianshi Chen+1 more|arXiv (Cornell University)|Jul 3, 2017

Statistical Methods and Inference参考文献 13被引用数 3

ひとこと要約

本稿は、カーネルベースの正則化手法におけるハイパーパrameter推定子の漸近的性質を分析し、経験ベイズ（EB）および2つのスティーナンの不偏リスク推定子（SURE）に焦点を当てる。SURE推定子は漸近的に平均二乗誤差を最小化し、したがって最適であるのに対し、広く使われているEB推定子は別の、劣化したターゲットに収束することが示される。驚くべきことに、SUREはEBよりも収束が遅く、これは $ Phi^T\Phi/N$ の収束速度とは無関係である。

ABSTRACT

The kernel-based regularization method has two core issues: kernel design and hyperparameter estimation. In this paper, we focus on the second issue and study the properties of several hyperparameter estimators including the empirical Bayes (EB) estimator, two Stein's unbiased risk estimators (SURE) and their corresponding Oracle counterparts, with an emphasis on the asymptotic properties of these hyperparameter estimators. To this goal, we first derive and then rewrite the first order optimality conditions of these hyperparameter estimators, leading to several insights on these hyperparameter estimators. Then we show that as the number of data goes to infinity, the two SUREs converge to the best hyperparameter minimizing the corresponding mean square error, respectively, while the more widely used EB estimator converges to another best hyperparameter minimizing the expectation of the EB estimation criterion. This indicates that the two SUREs are asymptotically optimal but the EB estimator is not. Surprisingly, the convergence rate of two SUREs is slower than that of the EB estimator, and moreover, unlike the two SUREs, the EB estimator is independent of the convergence rate of $Φ^TΦ/N$ to its limit, where $Φ$ is the regression matrix and $N$ is the number of data. A Monte Carlo simulation is provided to demonstrate the theoretical results.

研究の動機と目的

• カーネルベースの正則化手法におけるハイパーパrameter推定子の漸近的挙動を理解すること。
• 経験ベイズ（EB）と2つのスティーナンの不偏リスク推定子（SURE）の収束ターゲットおよび収束速度を比較すること。
• EBまたはSURE推定子のどちらが予測誤差を最小化する意味で漸近的に最適であるかを明確にすること。

提案手法

• EB、SUREおよびそのオラクル対応物の一次最適性条件を導出する。
• 最適性条件を共通の形に書き直し、推定子間の構造的関係を露にする。
• データサイズ $N \to \infty$ における推定子の極限的挙動を分析し、収束ターゲットおよび収束速度に注目する。
• 具体的なフレームワークとして、FIRモデル推定における正則化最小二乗法を用いる。
• 理論的発見の妥当性を検証するため、モンテカルロシミュレーションを実施する。
• $\Phi^T\Phi/N$ が極限に収束すると仮定したもとで、行列微積分および漸近的解析を活用する。

実験結果

リサーチクエスチョン

• RQ1 N \to \infty$ のとき、EB推定子のハイパーパrameter推定値の極限値は何か？
• RQ2 N \to \infty$ のとき、2つのSURE推定子のハイパーパrameter推定値の極限値は何か？
• RQ3 どの推定子が平均二乗誤差を最小化する意味で漸近的に最適か？
• RQ4 EBとSURE推定子の収束速度をどのように比較できるか？
• RQ5 EB推定子の収束速度は、$\Phi^T\Phi/N$ がその極限に収束する速度に依存するか？

主な発見

• N \to \infty$ のとき、2つのSURE推定子は、それぞれの平均二乗誤差を最小化するハイパーパrameterに収束する。これは漸近的最適性を示している。
• 経験ベイズ（EB）推定子は、MSEではなくEB推定基準の期待値を最小化する別のハイパーパrameterに収束するため、漸近的に最適ではない。
• 2つのSURE推定子の収束速度は、EB推定子のそれよりも遅い。
• EB推定子の収束は、$\Phi^T\Phi/N$ が極限に収束する速度とは独立しており、SURE推定子とは対照的である。
• モンテカルロシミュレーションにより、理論的収束挙動および収束速度が確認された。