[論文レビュー] Prediction risk for the horseshoe regression

Anindya Bhadra, Jyotishka Datta+3 more|arXiv (Cornell University)|May 16, 2016

Gene expression and cancer classification被引用数 3

ひとこと要約

この論文は理論的に、成分別に局所的な縮小を行うホースシューレジームというグローバル・ローカル縮小法が、特徴量が多数ある線形モデルにおける予測リスクを低減することを示している。これは、グローバル縮小法の2つの主要な限界、すなわち特異値に対して単調に縮小する性質と、1つのチューニングパラメータに依存する性質を克服する。著者らは、特定の条件下でホースシューレジームがリッジ回帰や主成分回帰よりも低い有限標本予測リスクを達成することを証明した。

ABSTRACT

We show that prediction performance for global-local shrinkage regression can overcome two major difficulties of global shrinkage regression: (i) the amount of relative shrinkage is monotone in the singular values of the design matrix and (ii) the shrinkage is determined by a single tuning parameter. Specifically, we show that the horseshoe regression, with heavy-tailed component-specific local shrinkage parameters, in conjunction with a global parameter providing shrinkage towards zero, alleviates both these difficulties and consequently, results in an improved risk for prediction. Numerical demonstrations of improved prediction over competing approaches in simulations and in a pharmacogenomics data set confirm our theoretical findings.

研究の動機と目的

• リッジ回帰や主成分回帰のようなグローバル縮小回帰法が高次元予測において理論的に抱える限界を解消すること。
• 実務ではグローバル・ローカル縮小事前分布（例：ホースシューポリシー）がグローバル法を上回る性能を示すが、その背後にある理論的根拠が有限標本リスクの比較によって明確でない現状を解明すること。
• ホースシューレジームがグローバル縮小推定子よりも低い予測リスクを達成する条件を確立すること。
• 有限標本予測リスクを比較するための理論的枠組みを、スティーンの不偏リスク推定（SURE）に基づいて構築すること。

提案手法

• 著者らは、スティーンの不偏リスク推定（SURE）を用いて、縮小推定子の有限標本予測リスクの式を導出する。
• 特にホースシューポリシーを含むグローバル・ローカル事前分布のリスク挙動を、成分別に局所的な縮小パラメータを重い尾を持つ分布でモデル化することで分析する。
• 一般化されたベータ分布フレームワーク下で、切り捨てられたガンマ型確率変数の関数の期待値の解析的表現を導出する。
• CCH（特異超幾何）分布下でのモーメント生成関数と正規化期待値の積分表現を用いて、リスクの理論的比較を行う。
• 設計行列の特異値や事前分布階層内のチューニングパラメータに対するリスクの感度に焦点を当てる。
• 理論的結果は、数値シミュレーションおよび薬物ゲノム学的データの応用を通じて検証される。

実験結果

リサーチクエスチョン

• RQ1 ホースシューレジームは、有限標本設定においてリッジ回帰や主成分回帰といったグローバル縮小法よりも低い予測リスクを達成するか？
• RQ2 成分別に局所的な縮小パラメータが、設計行列の特異値に対する相対的な縮小パターンにどのように影響するか？
• RQ3 ホースシューポリシーがグローバル縮小推定子よりも予測リスクを低減する条件は何か？
• RQ4 SUREに基づく解析を用いて、グローバル・ローカル縮小法の理論的リスクを上限付けたり最小化したりできるか？
• RQ5 設計行列の構造が、ホースシューレジームとグローバル縮小推定子のリスク性能にどのように影響するか？

主な発見

• ホースシューレジームは、有限標本設定においてリッジ回帰や主成分回帰といったグローバル縮小法よりも低い予測リスクを達成する。
• ホースシューメソッドは、グローバル縮小推定子が抱える特異値に対する単調な縮小パターンを回避する。
• 成分別に局所的な縮小パラメータを用いることで、ホースシューレジームはデータ内の信号構造にうまく適応し、大きな信号におけるバイアスを低減できる。
• 理論的分析により、真の回帰係数がスパースで、信号の大きさが異なる場合にホースシューポリシーがリスクを低減することが確認された。
• シミュレーションおよび薬物ゲノム学的データセットにおける数値結果から、ホースシューレジームが予測精度の面で競合手法を上回ることが確認された。
• 本研究は、グローバル・ローカル事前分布が、1つのチューニングパラメータ依存性や特異値の単調性の制約を回避することで、グローバル事前分布よりも低いリスクを達成できることを確立した。