[論文レビュー] A Blockwise Descent Algorithm for Group-penalized Multiresponse and Multinomial Regression

Noah Simon, Jerome H. Friedman+1 more|arXiv (Cornell University)|Nov 26, 2013

Gene expression and cancer classification参考文献 7被引用数 71

ひとこと要約

本稿では、効率性を高めるために準ニュートンフレームワークを活用した、グループペナルティ付き多応答および多項ロジスティック回帰のブロックワイズ座標降下法を提案する。競合手法と比較して10倍の高速化を達成し、p > 10,000の特徴量を持つ大規模な遺伝子発現問題のリアルタイム解法を可能にする。

ABSTRACT

In this paper we purpose a blockwise descent algorithm for group-penalized multiresponse regression. Using a quasi-newton framework we extend this to group-penalized multinomial regression. We give a publicly available implementation for these in R, and compare the speed of this algorithm to a competing algorithm --- we show that our implementation is an order of magnitude faster than its competitor, and can solve gene-expression-sized problems in real time.

研究の動機と目的

• グループペナルティ付き多応答および多項ロジスティック回帰モデルのための効率的な最適化アルゴリズムの開発。
• 特にゲノム学的応用のような高次元設定（p ≫ n）において、グループペナルティ付きモデルの適合における計算ボトルネックの解消。
• ブロック座標降下法を、多応答および多項ロジスティック回帰フレームワークにおけるグループワイドペナルティに対応させる拡張。
• 効率的な更新とスクリーニングルールを活用することで、遺伝子発現データのような大規模問題における計算スケーラビリティの向上。
• 広く使われているglmnetパッケージに統合された、公開可能で高性能なR実装の提供。

提案手法

• 係数行列βの1行ずつをブロック単位で更新し、他の行は固定するブロックワイズ座標降下法を採用。
• 各ブロックに対して、部分勾配条件から導かれる閉形式のソフトしきい値処理に類似した更新式を用いて、グループリッジペナルティ付きの部分問題を解く。
• 多項ロジスティック回帰設定において収束を加速するために、準ニュートンフレームワークを採用。
• 変数スクリーニングのためのストロングルールを適用し、非活性予測子を早期に除外することで計算コストを削減。
• グループリッジとリッジペナルティを組み合わせたエラスティックネット正則化を組み込み、計算効率を維持する修正された更新式を採用。
• 解パス計算を高速化するために、ウォームスタートと幾何的に減少するλ値を用いたパスワイズ最適化戦略を採用。

実験結果

リサーチクエスチョン

• RQ1 非微分可能なグループリッジペナルティを伴うグループペナルティ付き多応答回帰に、ブロックワイズ座標降下法を効率的に適応できるか？
• RQ2 大規模問題において、msglのような既存の実装と比較して、提案アルゴリズムの速度とスケーラビリティはどの程度向上するか？
• RQ3 グループペナルティ付き多項ロジスティックモデルにおいて、ストロングスクリーニングルールは最適性条件の違反を最小限に抑えつつ、計算時間をどの程度短縮できるか？
• RQ4 p > 10,000の特徴量と複数の応答クラスを伴う高次元設定を、効率的に処理できるか？
• RQ5 予測子が複数のクラスに共通するスパarsityパターンを持つ場合、グループペナルティ付き多項ロジスティックラッソの導入により、予測精度とモデルの解釈性が向上するか？

主な発見

• glmnetにおける提案アルゴリズムは、すべてのテスト問題サイズにおいてmsglパッケージと比較して約10倍の高速化を達成した。
• n=200、p=10,000、M=10クラスの問題において、全λパスの解法を17秒未塔で完了し、遺伝子発現データサイズの問題においてリアルタイム性能を実現した。
• ストロングスクリーニングルールの適用により、最適性条件の違反が最小限に抑えられ、スクリーニング後に再追加が必要な変数は非常に少なかった。
• 相関係数ρ=0.2の相関特徴に対しても高い効率性を維持し、中程度の相関構造に対しては頑健であることが示された。
• エラスティックネット正則化の導入により安定性と性能が向上し、計算効率を維持する閉形式更新式が実現された。
• 本手法は現在、glmnetバージョン1.8-2に統合されており、グループペナルティ付き多応答および多項ロジスティック回帰のためのスケーラブルでオープンソースのソリューションを提供している。