[論文レビュー] A Tutorial on Libra: R package for the Linearized Bregman Algorithm in High Dimensional Statistics

Jiechao Xiong, Feng Ruan+1 more|arXiv (Cornell University)|Apr 20, 2016

Statistical Methods and Inference参考文献 13被引用数 3

ひとこと要約

この論文は、高次元スパース統計的モデリングのための線形化Bregmanアルゴリズムを実装するLibra Rパッケージを紹介する。線形回帰およびロジスティック回帰、ガウス、イジング、ポッツグラフィカルモデルにおけるスパース正則化パスの効率的計算を可能にし、類似条件の下で理論的整合性保証を伴うLASSOのバイアスのない代替手法として、早期停止による反復しきい値処理を提供する。

ABSTRACT

The R package, Libra, stands for the LInearized BRegman Al- gorithm in high dimensional statistics. The Linearized Bregman Algorithm is a simple iterative procedure to generate sparse regularization paths of model estimation, which are rstly discovered in applied mathematics for image restoration and particularly suitable for parallel implementation in large scale problems. The limit of such an algorithm is a sparsity-restricted gradient descent ow, called the Inverse Scale Space, evolving along a par- simonious path of sparse models from the null model to over tting ones. In sparse linear regression, the dynamics with early stopping regularization can provably meet the unbiased Oracle estimator under nearly the same condition as LASSO, while the latter is biased. Despite their successful applications, statistical consistency theory of such dynamical algorithms remains largely open except for some recent progress on linear regression. In this tutorial, algorithmic implementations in the package are discussed for several widely used sparse models in statistics, including linear regression, logistic regres- sion, and several graphical models (Gaussian, Ising, and Potts). Besides the simulation examples, various application cases are demonstrated, with real world datasets from diabetes, publications of COPSS award winners, as well as social networks of two Chinese classic novels, Journey to the West and Dream of the Red Chamber.

研究の動機と目的

• 高次元統計的モデリングのための線形化Bregmanアルゴリズムの実用的でスケーラブルな実装を提供すること。
• LASSOのような従来のペナルティ付き推定量のバイアス問題を解決し、類似条件の下でオラクル性質を達成する代替手法を提供すること。
• 線形回帰およびロジスティック回帰、およびガウス、イジング、ポッツグラフィカルモデルを含む広範なスパースモデルをサポートすること。
• 反復しきい値処理と早期停止を用いた正則化パスを通じて、モデル選択を容易にすること。
• 逆スケールスペースダイナミクスの理論的進展を、アクセス可能なRパッケージを通じて実用的統計応用に橋渡しすること。

提案手法

• アルゴリズムは、罰則関数のproximal作用素に基づく反復更新を用い、$\theta^{k+1} = \kappa \cdot \text{prox}_P(z^{k+1})$ および $z^{k+1} = z^k - \alpha_k \nabla_\theta L(\theta^k)$ で定義されるダイナミクスを持つ。
• スパース正則化パスは、nullモデルから出発し、反復的シャーピングと勾配降下法を経て過学習モデルへと進化する。
• この手法は逆スケールスペース（ISS）極限に根ざしており、$\frac{d\rho}{dt} = -\nabla_\theta L(\theta(t))$ および $\rho(t) \in \partial P(\theta(t))$ であり、不偏なオラクル推定量への収束を保証する。
• 最小二乗法（線形回帰用）、対数尤度（ロジスティックおよび多項ロジスティックモデル用）、およびカテゴリカルデータ用のポッツモデル尤度といった、さまざまな損失関数をサポートする。
• パスにおけるグリッドでない時刻点では、$z(t)$ および $\theta(t)$ に対して線形補間を適用し、ユーザー指定の $t$ 値（`tlist` 内）での評価を可能にする。
• 切片 $\theta_0^0$ は、$\theta=0$ における損失の最小化者として初期化され、切片の影響による誤った変数選択を回避する。

実験結果

リサーチクエスチョン

• RQ1 線形化Bregmanアルゴリズムは、LASSOと比較してバイアスが低減された高次元線形モデルにおけるスパースかつ一貫性のある推定量を生成できるか？
• RQ2 アルゴリズムの正則化パスは、従来のペナルティ付きM推定量と比較して、モデル選択の正確性および計算効率においてどのように異なるか？
• RQ3 非線形モデル、特にロジスティック回帰および多項ロジスティック回帰において、早期停止された線形化Bregman反復の統計的整合性はいかほどか？
• RQ4 アルゴリズムは、イジングモデルおよびポッツモデルを含むグラフィカルモデルへと効果的に拡張可能か？
• RQ5 特に不均衡データ設定下で、切片の初期化の選択が変数選択の安定性にどのように影響するか？

主な発見

• 早期停止を伴う線形化Bregmanアルゴリズムは、LASSOとほぼ同一の条件下で、モデル選択の一貫性を達成し、不偏なオラクル推定量を生成する。
• アルゴリズムは、nullモデルから過学習モデルへと至る、スパースなモデルの洗練されたパスを生成し、正則化パス解析を効果的に行える。
• ロジスティック回帰では、二項および多項ロジスティックモデルをサポートし、$K$ クラスの結果に対して勾配計算のコストは $O(np^2K^2)$ である。
• ポッツモデル推定では、$\sum_{k=1}^p \sqrt{\sum_{s,t} \theta_{js,kt}^2}$ を通じたグループスパースペナルティをサポートし、カテゴリカルデータにおける構造的スパース性を可能にする。
• デフォルトのパスは、$t_0$ から $t_0 \cdot \text{trate}$ までの $nt$ 個の時刻点からなる幾何級数であり、正則化パスの高密度なサンプリングを保証する。
• 非グリッド時刻点における $\theta(t)$ の計算には線形補間が用いられ、正則化パスの柔軟な評価を可能にする。