[論文レビュー] Fast Simultaneous Training of Generalized Linear Models (FaSTGLZ)

Bryan Conroy, Jennifer M. Walz+2 more|arXiv (Cornell University)|Jul 31, 2013

Gaussian Processes and Bayesian Inference参考文献 19被引用数 5

ひとこと要約

FaSTGLZ は、同時に複数の関連する問題（ブートストラップ、交差検証、置換検定など）に対してスパースな一般化線形モデルを、正則化付きのエラスティック・ネットで同時に学習するための計算的に効率的なアルゴリズムである。これは、同時にニュートン法を適用し、低次元の変数分割を用いて共有構造を活用することで実現される。特に高次元設定（p ≫ n）において顕著な高速化とメモリ節約が達成され、標準的なハードウェア上でも数千のモデルを最小限のメモリオーバーヘッドで学習可能である。

ABSTRACT

We present an efficient algorithm for simultaneously training sparse generalized linear models across many related problems, which may arise from bootstrapping, cross-validation and nonparametric permutation testing. Our approach leverages the redundancies across problems to obtain significant computational improvements relative to solving the problems sequentially by a conventional algorithm. We demonstrate our fast simultaneous training of generalized linear models (FaSTGLZ) algorithm on a number of real-world datasets, and we run otherwise computationally intensive bootstrapping and permutation test analyses that are typically necessary for obtaining statistically rigorous classification results and meaningful interpretation. Code is freely available at http://liinc.bme.columbia.edu/fastglz.

研究の動機と目的

• モデル選択、検証、有意性検定の過程で数千のスパースな一般化線形モデルを逐次的に学習する際の非効率性を解消すること。
• 関連する最適化問題間の冗長性を活用して、計算とメモリのオーバーヘッドを低減すること。
• 標準的なハードウェア上で高次元データセット（p ≫ n）に対して、ブートストラップや置換検定のような大規模な統計解析を可能にすること。
• アクティブセットスクリーニングを活用することで、サンプル数（n）に線形にスケールするが、特徴数（p）に依存しない、記憶効率の高いアルゴリズムを構築すること。
• グループラassoを含むさまざまな損失関数と正則化子と互換性を持つ汎用フレームワークを提供すること。

提案手法

• スパースな GLM 最適化を、滑らかさの最小化とソフトスレッショーディングに分解するために、交替方向乗数法（ADMM）を用いる。
• すべての問題に共通する1つのテンプレートヘッシアン行列を一回だけ逆行列化する、同時ニュートンソルバーを導入することで、繰り返しの行列逆行列計算を削減する。
• すべての問題に共通する部分空間（Q の張る空間）に最適化を射影することで、計算オーバーヘッドを最小限に抑える。
• ℓ₁正則化スクリーニングルール（Tibshirani et al., 2012）を用いて、各問題ごとのアクティブセットを推定し、メモリ使用量を削減する。
• 反復ステップを1つの線形代数式にまとめることで、メモリアクセスとループのオーバーヘッドを最小限に抑える。
• Q と Q⊥ を用いた基底変換を導出し、線形方程式を効率的に解く。正定値性を保証することで収束性を確保する。

実験結果

リサーチクエスチョン

• RQ1 関連する問題（例えば、ブートストラップされたデータセット）の複数のスパースな GLM を同時に学習することは、逐次学習よりも著しく高速化可能だろうか？
• RQ2 高次元設定（p ≫ n）において、問題間の共有構造をどのように活用すれば、計算時間とメモリ使用量の両方を低減できるだろうか？
• RQ3 1つのヘッシアン行列の逆行列を複数のモデルに再利用することで、収束性を損なわずに最適化を高速化できるだろうか？
• RQ4 アクティブセットスクリーニングは、大規模なスパース回帰において、どの程度メモリオーバーヘッドを削減できるだろうか？
• RQ5 p ≫ n の条件下でも、標準的なハードウェア上で数千のモデルにスケーラブルに適用可能だろうか？

主な発見

• FaSTGLZ は、問題間の共有構造を活用することで、複数のスパースな GLM 問題を同時に解くことで、顕著な計算の高速化を達成する。
• アルゴリズムにより、1問題あたりのメモリ使用量は n に線形に増加し、p とは無関係になるため、標準的なハードウェア上でも高次元解析が可能になる。
• 同時ニュートンソルバーにより、すべての問題に対してヘッシアン行列の逆行列を1回しか計算しなくてよくなり、繰り返しの行列演算が著しく削減される。
• 4GB RAM のマシンでも、数万の特徴を持つ状況ですら、数千のモデルを同時に学習可能である。
• 適切な正則化とヘッシアン更新の正定値性により収束保証が維持され、安定した最適化が保証される。
• 実世界のデータセットを用いた実証的検証により、FaSTGLZ が、そうでなければ不可能なほど計算が重い置換検定やブートストラップ解析を、厳密な統計的有意性を伴って可能にすることが確認された。