[論文レビュー] Sparse Quantile Huber Regression for Efficient and Robust Estimation

Aleksandr Y. Aravkin, Anju Kambadur+2 more|arXiv (Cornell University)|Feb 19, 2014

Statistical Methods and Inference参考文献 28被引用数 8

ひとこと要約

本稿では、外れ値への耐性と推定精度を向上させるために、分位数回帰と滑らかなハーバー損失を組み合わせた、スパース分位数ハーバー回帰を提案する。この手法は、ロバストで効率的な高次元変数選択法であり、一般化されたOMPアルゴリズムと凸最適化技術を導入し、シミュレーションデータおよびゲノムデータにおいて優れた性能を示す。特に、分位数依存のスパarsityパターンを捉える点で優れている。

ABSTRACT

We consider new formulations and methods for sparse quantile regression in the high-dimensional setting. Quantile regression plays an important role in many applications, including outlier-robust exploratory analysis in gene selection. In addition, the sparsity consideration in quantile regression enables the exploration of the entire conditional distribution of the response variable given the predictors and therefore yields a more comprehensive view of the important predictors. We propose a generalized OMP algorithm for variable selection, taking the misfit loss to be either the traditional quantile loss or a smooth version we call quantile Huber, and compare the resulting greedy approaches with convex sparsity-regularized formulations. We apply a recently proposed interior point methodology to efficiently solve all convex formulations as well as convex subproblems in the generalized OMP setting, pro- vide theoretical guarantees of consistent estimation, and demonstrate the performance of our approach using empirical studies of simulated and genomic datasets.

研究の動機と目的

• 外れ値と異質なデータに対処できる、高次元スパース分位数回帰のロバストで効率的な手法の開発。
• 古典的分位数回帰を滑らかなハーバー損失関数で拡張し、数値的安定性と推定精度を向上させる。
• スパース分位数回帰におけるグリーディー変数選択を可能にする一般化されたOMPアルゴリズムの提案。$ε_1$-ペナルティ法よりもスケーラビリティと回復精度に優れる。
• 一貫した推定の理論的保証を提供し、シミュレーションおよび実際のゲノムデータセットにおける実証的性能を示す。
• アルツハイマー病におけるeQTLマッピングを含む、高次元生物学的データにおける分位数依存スパarsityパターンの解明。

提案手法

• 従来の分位数チェック関数の滑らかな近似として、一般化されたスパース分位数ハーバー損失関数を提案し、外れ値に対する耐性を向上させる。
• 分位数ハーバー損失を用いて、予測子のグリーディー選択をガイドする一般化されたOMPアルゴリズムを開発する。
• スパース分位数ハーバー回帰問題の凸最適化定式化およびOMPフレームワーク内の部分問題を効率的に解くために内点法を採用する。
• $ε_1$-ノルムおよび$ε_0$-ノルム正則化を用いてスパarsityを強制し、変数選択の正確さの観点から両者を比較する。
• ハーバー損失におけるパrameter $κ$ を用いて外れ値への感受性を制御し、異なる誤差尾部の挙動に適応可能にする。
• $F_1$-スコアとQQプロットをそれぞれ変数選択の正確さおよび残差分布の評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 滑らかなハーバー損失のバリエーションは、従来の分位数チェック関数と比較して、スパース分位数回帰のロバスト性と正確さを向上させるか？
• RQ2 一般化されたOMPアルゴリズムは、特に中央以外の分位数において、$ε_1$-ペナルティ法よりもスパース係数ベクトルの回復に優れるか？
• RQ3 eQTL研究などの高次元データにおけるスパarsityパターンは、応答分布の異なる条件付き分位数でどのように変化するか？
• RQ4 分位数ハーバー損失における$κ$の選択が、異なる誤差分布下での変数選択性能に及ぼす影響はどの程度か？
• RQ5 スパース分位数ハーバー回帰は、重い尾部を持つ残差を伴うアルツハイマー病データにおいて、関連するSNPを効果的に同定できるか？

主な発見

• $ε_0$-QHR定式化は、シミュレーションデータにおいて最高の$F_1$-スコアを達成し、$ε_1$-QHRおよび$ε_1$-QRを上回ることで、優れた変数選択正確性を示した。
• 分位数ハーバー損失は、すべての分位数において標準分位数損失よりも高い$F_1$-スコアを継続的に達成し、ノイズおよび外れ値に対する耐性の向上を実証した。
• サンプルサイズ$n=300$、予測子数$p=400$の条件下で、$ε_0$-QHRは25番目の分位数において$F_1$-スコア0.85を達成し、Lasso（$F_1=0.56$）を著しく上回った。
• $ε_0$-QHR法は、APOE遺伝子eQTL研究において、分位数ごとに異なるSNPホットスポットパターンを同定した。特に、染色体19付近に恒常的な信号が観察された。
• 中央分位数の残差のQQプロットは、重い右尾部を示しており、実際の生物学的データにおいてロバストな手法の必要性を裏付けた。
• $ε_0$-QHRの性能は、$κ$の値にかかわらず安定しており、より重い尾部を持つ誤差に対しては低い$κ$値で最適な性能を発揮した。