[論文レビュー] cqrReg: An R Package for Quantile and Composite Quantile Regression and Variable Selection

Matthew Pietrosanu, Jueyu Gao+3 more|arXiv (Cornell University)|Sep 13, 2017

Statistical Methods and Inference被引用数 2

ひとこと要約

この論文では、ADMM、MM、座標降下法アルゴリズムを用いて、適応lasso変数選択を組み込んだ、ロバストで高次元な分位数回帰および複合分位数回帰を実装するRパッケージcqrRegを紹介する。これらの手法は、特に大規模または高次元の設定において、既存の内点法（IP）ベースのアプローチ（quantregパッケージ内）を上回る性能を発揮し、ADMMは並列化の観点から強く有望である。

ABSTRACT

The cqrReg package for R is the first to introduce a family of robust, high-dimensional regression models for quantile and composite quantile regression, both with and without an adaptive lasso penalty for variable selection. In this paper, we reformulate these quantile regression problems and present the estimators we implement in cqrReg using alternating direction method of multipliers (ADMM), majorize-minimization (MM), and coordinate descent (CD) algorithms. Our new approaches address the lack of publicly-available methods for (composite) quantile regression, both with and without regularization. We demonstrate the need for a variety of algorithms in later simulation studies. For comparison, we also introduce the widely-used interior point (IP) formulation and test our methods against the advanced IP algorithms in the existing quantreg package. Our simulation studies show that each of our methods, particularly MM and CD, excel in different settings such as with large or high-dimensional data sets, respectively, and outperform the methods currently implemented in quantreg. ADMM offers particular promise for future developments in its amenability to parallelization.

研究の動機と目的

• 高次元設定における正則化付き（複合）分位数回帰のための公開可能でロバストな手法の不足に対処すること。
• 分位数回帰および複合分位数回帰の変数選択に特化した効率的な計算アルゴリズムの開発。
• 推定と変数選択の両方をサポートするスケーラブルでオープンソースのRパッケージの提供。
• cqrRegで提案された新しいアルゴリズム（ADMM、MM、CD）と、quantregパッケージの内点法（IP）との性能比較。
• 多様なデータ環境（大規模および高次元データセットなど）における複数のアルゴリズムの有効性の実証。

提案手法

• ADMM、主要化最小化（MM）、座標降下法（CD）と互換性のある最適化フレームワークを用いて、分位数回帰および複合分位数回帰問題を再定式化する。
• ADMMを用いて分散処理および並列計算を実装し、その分解可能性と収束特性を活用する。
• 非微分可能な分位数損失関数を支配する凸な補助関数を繰り返し最小化することで、MMアルゴリズムを用いる。
• 高次元スパース性に適した1つのパラメータずつ順次更新することで、目的関数を最適化する座標降下法を適用する。
• 効果的な変数選択を可能にするために、回帰モデルに適応lassoペナルティを統合する。
• 提案手法を、quantregパッケージの内点法（IP）アルゴリズムをベンチマークとして比較する。

実験結果

リサーチクエスチョン

• RQ1 正則化あり・なしの両状況において、ADMM、MM、座標降下法は、内点法と比較して分位数回帰および複合分位数回帰でどのように性能を発揮するか？
• RQ2 高次元または大規模データ設定において、どのアルゴリズムが最も効率的かつ正確か？
• RQ3 ADMMは、分位数回帰における並列化を効果的に活用できるか？
• RQ4 適応lassoの導入により、複合分位数回帰における変数選択性能はどのように向上するか？
• RQ5 quantregパッケージの既存手法と比較して、提案手法のアルゴリズムにおける計算的・統計的トレードオフは何か？

主な発見

• シミュレーション研究において、MMおよび座標降下法は、内点法を上回り、特に高次元および大標本設定で顕著な優位性を示した。
• ADMMは、そのモジュラー構造のおかげで、将来的な並列処理および分散計算における強力な可能性を示した。
• cqrRegで提案された手法は、適応lassoを適用した際、quantregパッケージの内点法の実装よりも優れた変数選択性能を達成した。
• 適応lassoを組み込んだ複合分位数回帰は、高次元モデルにおける推定精度の向上とスパarsityの強化をもたらした。
• アルゴリズムの選択が性能に顕著な影響を与えることが判明し、MMは中程度から高次元データで優れた性能を示し、CDは大規模データセットで高いロバスト性を示した。
• cqrRegパッケージは、特に複雑で高次元の回帰タスクに適した、スケーラブルでオープンソースの代替ツールを提供している。