[論文レビュー] On Effects of Condition Number of Regression Matrix upon Hyper-parameter Estimators for Kernel-based Regularization Methods.

Yue Ju, Tianshi Chen+2 more|arXiv (Cornell University)|Jan 1, 2020

Numerical methods in inverse problems被引用数 1

ひとこと要約

この論文は、回帰行列の条件数がカーネルベース正則化における2つのハイパーパrameter推定手法—経験ベイズ（EB）とSUREy—に与える影響を分析している。SUYeの収束速度の上界は、EBのそれよりも条件数の指数が1つ高いこと、および条件数が増加するにつれて、特にリッジ回帰の設定において、SUREyの漸近的分散がEBのそれよりも大きくなることが示されている。

ABSTRACT

In this paper, we focus on the influences of the condition number of the regression matrix upon the comparison between two hyper-parameter estimation methods: the empirical Bayes (EB) and the Stein's unbiased estimator with respect to the mean square error (MSE) related to output prediction (SUREy). We firstly show that the greatest power of the condition number of the regression matrix of SUREy cost function convergence rate upper bound is always one larger than that of EB cost function convergence rate upper bound. Meanwhile, EB and SUREy hyper-parameter estimators are both proved to be asymptotically normally distributed under suitable conditions. In addition, one ridge regression case is further investigated to show that when the condition number of the regression matrix goes to infinity, the asymptotic variance of SUREy estimator tends to be larger than that of EB estimator.

研究の動機と目的

• 回帰行列の条件数がカーネルベース正則化におけるハイパーパrameter推定子の性能に与える影響を調査すること。
• 回帰行列の条件数に関連して、経験ベイズ（EB）およびSUREy推定子の収束速度上界を比較すること。
• 適切な正則性条件の下で、EBおよびSUREy推定子の漸近正規性を検討すること。
• 特にリッジ回帰設定において、回帰行列の条件数が無限大に近づく際のSUREyおよびEB推定子の漸近的分散の挙動を分析すること。

提案手法

• 回帰行列の条件数を関数として、EBおよびSUREyハイパーパrameter推定子の収束速度上界を導出する。
• 設計行列およびカーネル構造に関する適切な正則性条件の下で、EBおよびSUREy推定子の漸近正規性を確立する。
• リッジ回帰のケースを分析し、回帰行列の条件数が無限大に近づく際のEBおよびSUREy推定子の漸近的分散を比較する。
• 行列解析および漸近理論を用いて、条件数を推定子の統計的性質（特に平均二乗誤差（MSE）および分散挙動）に関連づける。

実験結果

リサーチクエスチョン

• RQ1 回帰行列の条件数が、SUREy推定子の収束速度上界をEB推定子と比較してどのように影響するか？
• RQ2 標準的な正則性条件の下で、EBおよびSUREyハイパーパrameter推定子はいずれも漸近的に正規分布に従うか？
• RQ3 回帰行列の条件数が無限大に近づく際、SUREy推定子の漸近的分散はEB推定子に対してどのように変化するか？
• RQ4 リッジ回帰設定において、回帰行列がますますill-conditionedになる場合、SUREy推定子はEB推定子よりも大きな漸近的分散を示すか？

主な発見

• SUREyコスト関数の収束速度上界における条件数の指数は、EBコスト関数のそれよりも1つ高い。
• 適切な正則性条件の下で、EBおよびSUREyハイパーパrameter推定子の両方が漸近的に正規分布に従う。
• リッジ回帰のケースにおいて、回帰行列の条件数が無限大に近づくと、SUREy推定子の漸近的分散はEB推定子のそれよりも大きくなる。
• 条件数はSUREyの収束速度および分散挙動に、EBよりも強い影響を与えることが示され、SUREyがill-conditioningに対してより感受性が強いことが示唆される。