[論文レビュー] Prediction risk for global-local shrinkage regression

Anindya Bhadra, Jyotishka Datta+3 more|arXiv (Cornell University)|May 16, 2016

Gene expression and cancer classification参考文献 39被引用数 4

ひとこと要約

本稿では、重い尾を持つ事前分布を用いて、データに適応する成分固有の局所的正則化を組み込んだグローバル・ローカル正則化回帰モデルを提案する。このモデルは、従来の正則化手法の2つの主要な限界である、特異値に対して単調な正則化と、応答変数に依存しない正則化の欠如を解消することで、予測リスクを低減する。シミュレーションおよび薬物ゲノム学データセットを用いた検証により、予測誤差が低減することが確認された。

ABSTRACT

Predictive performance in shrinkage regression suffers from two major difficulties: (i) the amount of relative shrinkage is monotone in the singular values of the design matrix and (ii) the amount of shrinkage does not depend on the response variables. Both of these factors can translate to a poor prediction performance, the risk of which can be explicitly quantified using Stein's unbiased risk estimate. We show that using a component-specific local shrinkage term that can be learned from the data under a suitable heavy-tailed prior, in combination with a global term providing shrinkage towards zero, can alleviate both these difficulties and consequently, can result in an improved risk for prediction. Demonstration of improved prediction performance over competing approaches in a simulation study and in a pharmacogenomics data set confirms the theoretical findings.

研究の動機と目的

• 特異値に対して単調な正則化が原因で生じる正則化回帰の予測性能の低さを是正すること。
• 従来の正則化手法に見られる応答変数依存性の欠如を克服すること。
• 重い尾を持つ事前分布を用いて、データから成分固有の正則化を学習するモデルの開発。
• スティーブンの不偏リスク推定（SURE）を用いて予測リスクを定量化・低減すること。
• シミュレーションおよび実データにおいて、既存手法に比べて優れた予測性能を示すことを実証すること。

提案手法

• 階層ベイズモデルを採用し、グローバル正則化パラメータと成分固有のローカル正則化パラメータを組み込む。
• 局所的正則化項は、重い尾を持つ事前分布を用いた正規分布のスケール混合でモデル化され、回帰係数ごとにデータ駆動の適応が可能となる。
• グローバル成分は係数をゼロに収縮させるが、ローカル成分はデータの信号強度に応じて調整される。
• 予測リスクは、スティーブンの不偏リスク推定（SURE）を用いて定量化され、理論的リスク評価が可能となる。
• ハイパーパrameterの経験ベイズ推定が可能となる階層ベイズアプローチにより、モデルが適合される。
• 実証的検証のため、シミュレーションデータおよび実際の薬物ゲノム学データセットに本手法を適用した。

実験結果

リサーチクエスチョン

• RQ1 応答変数に依存する正則化を行うグローバル・ローカル正則化モデルは、予測リスクを低減できるか？
• RQ2 データから学習する成分固有のローカル正則化は、特異値に対する単調な正則化バイアスを緩和できるか？
• RQ3 本手法は、既存の正則化手法と比較して、予測精度において優れているか？
• RQ4 重い尾を持つ事前分布の使用は、正則化の適応性および予測性能をどの程度向上させるか？
• RQ5 SUREによって予測された理論的リスク低減は、実世界のデータでも観察できるか？

主な発見

• 提案されたグローバル・ローカル正則化モデルは、従来の正則化手法と比較して顕著に予測リスクを低減した。
• シミュレーション研究において、本モデルは回帰係数ごとにデータに応じた正則化の適応を可能とし、予測性能が向上した。
• 薬物ゲノム学データセットにおいて、本手法は他の手法を上回る予測精度を達成した。
• 重い尾を持つ事前分布の使用により、重要な信号の過剰な収縮が抑制され、有効なローカル正則化の学習が可能となった。
• スティーブンの不偏リスク推定（SURE）により、提案モデル下での理論的予測リスク低減が確認された。
• 本手法は特異値構造に対して頑健であり、古典的なリッジ回帰やラッソ回帰が抱える単調な正則化の落とし穴を回避した。