[論文レビュー] On the Asymptotic Optimality of Cross-Validation based Hyper-parameter Estimators for Regularized Least Squares Regression Problems

Biqiang Mu, Tianshi Chen+1 more|arXiv (Cornell University)|Apr 21, 2021

Control Systems and Identification参考文献 32被引用数 5

ひとこと要約

本稿は、正則化最小二乗回帰における交差検証（CV）に基づくハイパーパrameter推定器の漸近的最適性（a.o.）を確立する。一般化交差検証（GCV）は、回帰子の有界性仮定なしに漸近的最適性を示すが、1つずつ除外する交差検証（LOOCV）および繰り返し分割交差検証（RFCV）は有界性を要する。一方、ホールドアウト交差検証（HOCV）は一般に漸近的最適性を満たさない。シミュレーションにより、さまざまな設計行列条件を持つデータバンクにおいて理論的結果が確認された。

ABSTRACT

The asymptotic optimality (a.o.) of various hyper-parameter estimators with different optimality criteria has been studied in the literature for regularized least squares regression problems. The estimators include e.g., the maximum (marginal) likelihood method, $C_p$ statistics, and generalized cross validation method, and the optimality criteria are based on e.g., the inefficiency, the expectation inefficiency and the risk. In this paper, we consider the regularized least squares regression problems with fixed number of regression parameters, choose the optimality criterion based on the risk, and study the a.o. of several cross validation (CV) based hyper-parameter estimators including the leave $k$-out CV method, generalized CV method, $r$-fold CV method and hold out CV method. We find the former three methods can be a.o. under mild assumptions, but not the last one, and we use Monte Carlo simulations to illustrate the efficacy of our findings.

研究の動機と目的

• 正則化最小二乗回帰におけるCVに基づくハイパーパrameter推定器の漸近的最適性（a.o.）を特定すること。
• GCV、LOOCV、RFCV、HOCVがどの仮定のもとで漸近的最適性を達成するかを明確にすること。
• LOOCVおよびRFCVの漸近的最適性に、回帰子の有界性が必要かどうかを調査すること。
• 異なる設計行列特性を持つ合成データバンクにおける数値シミュレーションを通じて理論的結果を検証すること。

提案手法

• 理論的分析により、CV推定器が漸近的最適性を満たす条件を導出する。リスク、GCV、LOOCV、RFCV、HOCVをハイパーパrameter推定器として用いる。
• リスク関数をバイアス、分散、およびクロス項の3つの成分に分解し、それぞれを漸近的に分析する。
• 主な技術的道具は行列逆行列恒等式および $ G(\eta) = X^T X + \eta I_p $ の漸近展開であり、$ \eta $ は正則化パラメータである。
• 補題により、$ \varepsilon^T X (X^T X)^{-1} X^T \varepsilon $ 及び関連項を含む2次形式の確率的順序を確立する。
• 理論的結果は、設計行列の性状態が異なる3つのデータバンク（D1, D2, D3）におけるシミュレーションにより検証された。
• シミュレーションでは、2分割、5分割、100分割、3900分割、2-HOCV、5-HOCVの性能を比較し、平均的精度と頑健性の観点から結果を報告した。

実験結果

リサーチクエスチョン

• RQ1 一般化交差検証（GCV）は、回帰子の有界性を仮定せず、正則化最小二乗回帰において漸近的最適性を満たすか？
• RQ2 1つずつ除外する交差検証（LOOCV）の漸近的最適性は、回帰子の有界性に依存するか？
• RQ3 繰り返し分割交差検証（RFCV）が漸近的最適性を満たす条件は何か？また、その性能は分割数 $ r $ にどのように依存するか？
• RQ4 ホールドアウト交差検証（HOCV）は一般に正則化最小二乗回帰において漸近的最適性を満たすか？
• RQ5 シミュレーション結果は、CVに基づく推定器の漸近的最適性の理論的条件と整合しているか？

主な発見

• データバンク D1（良好に条件付けられた $ X^T X $）では、GCVとLOOCVはほぼ同一の性能を示し、他の推定器よりも優れている。$ n=300 $ 時にリスクは85.93、$ n=7800 $ 時に96.49であり、実現不可能なリスク推定器に非常に近い。
• データバンク D2（悪く条件付けられた $ X^T X $）では、GCVとLOOCVが再び他の推定器を上回り、$ n=300 $ 時にリスク85.56および85.71、$ n=7800 $ 時に96.46および96.49を示した。
• データバンク D3（非有界な回帰子）では、GCVはリスク推定器に近い（$ n=7800 $ 時に96.70 vs. 96.56）が、LOOCV、RFCV、HOCVは著しく劣る性能を示し、これら推定器の最適性には有界性が必要であることが示された。
• RFCVの性能は $ r $ の増加に伴い向上し、有界性のもとではGCVおよびLOOCVに近づくが、固定された $ r $ ではわずかに劣る性能を示した。
• HOCVは一貫して劣り、$ r $ の増加に伴い性能が悪化し、一般に漸近的最適性を満たさないことが確認された。
• 2分割、5分割、2-HOCV、5-HOCVのシミュレーションにおいて $ n=7800 $ 時、コスト関数が一定でハイパーパramータが固定であるため、最適化アルゴリズムに障害が生じ、意味を持たない結果となった。