[論文レビュー] Degrees of Freedom of the Reduced Rank Regression

Ashin Mukherjee, Naisyin Wang+1 more|arXiv (Cornell University)|Oct 9, 2012

Advanced Statistical Methods and Models参考文献 40被引用数 4

ひとこと要約

本稿では、スティーンの不偏リスク推定法（SURE）を用いて、低ランク回帰の自由度の正確で有限標本に不偏な推定量を提案する。この手法により、MallowのCpやGCVといった基準を用いた正確なモデル選択が可能となり、ヒューリスティックなランク選択や計算コストの高い再サンプリング手法を回避する。

ABSTRACT

In this paper we study the effective degrees of freedom of the reduced rank regression estimator in the framework of Stein's unbiased risk estimation (SURE). We derive a finite-sample exact unbiased estimator of the degrees of freedom for the reduced rank regression. We show that it is significantly different from the number of free parameters in the model, which is often taken as a heuristic estimate of the degrees of freedom for the reduced rank regression. Using the exact unbiased estimator of the degrees of freedom, one can easily employ various model selection criteria such as Mallow's Cp or GCV to efficiently choose an optimal rank for the reduced rank regression problem, which often outperforms its heuristic counterpart in terms of prediction accuracy and successfully avoids computationally expensive data perturbation or bootstrap based methods. We have also extended the proposed approach to other related estimation procedures, including the reduced rank ridge regression and a weighted nuclear norm penalized multivariate regression.

研究の動機と目的

• 低ランク回帰における正確で有限標本に不偏な自由度推定量の欠如に取り組む。
• 一般的に自由パラメータの数として用いられるヒューリスティック推定の限界を克服する。これはしばしば最適でないモデル選択を引き起こす。
• MallowのCp や一般化交叉検証（GCV）といった既存の基準を用いた、効率的かつ正確なモデル選択を可能にする。
• 提案された自由度フレームワークを、低ランクリッジ回帰や重み付き核ノルム罰則付き多変量回帰といった関連手法に拡張する。
• 多変量回帰におけるランク選択のためのブートストラップやデータ摂動法といった計算コストの高い手法の代替として、計算効率の良い手法を提供する。

提案手法

• スティーンの不偏リスク推定法（SURE）を用いて、低ランク回帰の正確で不偏な自由度推定量を導出する。
• SUREフレームワークを低ランク回帰推定量に適用し、自由度の有限標本表現を獲得する。
• 導出された自由度推定量を用いて、MallowのCp や一般化交叉検証（GCV）などのモデル選択基準を計算する。
• リッジ罰則をSUREに基づく自由度推定に組み込むことで、低ランクリッジ回帰へのアプローチを拡張する。
• 理論的基盤を保ちつつ、重み付き核ノルム罰則付き多変量回帰にこの手法を適応する。
• 推定量がデータの再サンプリングや摂動を必要とせず、計算コストを削減できることを示す。

実験結果

リサーチクエスチョン

• RQ1 有限標本において、低ランク回帰の自由度をどのように正確に推定できるか？
• RQ2 提案された正確な自由度推定量は、自由パラメータの数に基づくヒューリスティック推定と比較して、モデル選択性能にどのように差を生じるか？
• RQ3 MallowのCp や一般化交叉検証（GCV）といったモデル選択基準に使用した場合、予測精度が向上するか？
• RQ4 SUREに基づく自由度フレームワークは、他の低ランク多変量回帰推定量へどの程度拡張可能か？
• RQ5 提案手法により、ランク選択における計算コストの高いブートストラップや摂動ベースの手法の必要性が排除されるか？

主な発見

• 提案された推定量は、自由パラメータの数とは異なる、低ランク回帰における正確で有限標本に不偏な自由度推定量を提供する。
• 正確な自由度推定量を用いたモデル選択は、自由パラメータの数に基づくヒューリスティックなランク選択よりも、予測精度が向上する。
• 正確な自由度推定量を用いたモデル選択により、再サンプリングやブートストラップ法を必要とせず、MallowのCp やGCVを効率的に活用できる。
• このフレームワークは、低ランクリッジ回帰や重み付き核ノルム罰則付き多変量回帰へも成功裏に拡張され、理論的妥当性を保っている。
• 従来の再サンプリング手法に比べて計算負荷を軽減しながらも、ランク選択において優れた性能を達成する。