[論文レビュー] Generalized Linear Model Regression under Distance-to-set Penalties

Jason Xu, C. Eric+1 more|arXiv (Cornell University)|Nov 3, 2017

Advanced Statistical Methods and Models参考文献 30被引用数 17

ひとこと要約

本稿では、正則化による係数の縮小バイアスを回避するため、距離集合ペナルティを用いた一般化線形モデル（GLM）回帰フレームワークを提案する。MM（主成分最小化）原理を活用することで、グローバル収束を保証し、非凸制約下でもスパースおよび低ランク回帰において優れた性能を発揮する。従来の縮小手法を上回る性能を、主要なベンチマークで示している。

ABSTRACT

Estimation in generalized linear models (GLM) is complicated by the presence of constraints. One can handle constraints by maximizing a penalized log-likelihood. Penalties such as the lasso are effective in high dimensions, but often lead to unwanted shrinkage. This paper explores instead penalizing the squared distance to constraint sets. Distance penalties are more flexible than algebraic and regularization penalties, and avoid the drawback of shrinkage. To optimize distance penalized objectives, we make use of the majorization-minimization principle. Resulting algorithms constructed within this framework are amenable to acceleration and come with global convergence guarantees. Applications to shape constraints, sparse regression, and rank-restricted matrix regression on synthetic and real data showcase strong empirical performance, even under non-convex constraints.

研究の動機と目的

• LASSOのような従来の縮小ペナルティの限界、特にスパarsityを強制する際の望ましくない係数の縮小を是正すること。
• スパarsity、等式性、低ランク構造といった多様な制約をGLM回帰係数に課すための柔軟なフレームワークの構築。
• 非凸制約下でも収束保証を維持できる統一的な最適化アプローチの提供。
• 高次元および構造的回帰設定において、標準的な縮小手法と比較して優れた実験的性能を示すこと。

提案手法

• L1やL0ノルムのような従来の正則化に代わり、制約集合への二乗距離ペナルティを用いたGLM回帰の定式化。
• 主成分最小化（MM）原理を用いて、最適化が容易な凸な代替問題の系列を構築。
• 現在の推定値を制約集合に射影し、重み付き最小二乗問題を解く反復更新の導出。
• 異なる指数型分布族に跨る目的関数の一般化に、ブレグマンダイバージェンスフレームワークを適用。
• 特に大規模問題において収束速度を向上させるための加速技術の適用。
• グローバル収束が保証され、凸制約下ではグローバル最適性も保証される。

実験結果

リサーチクエスチョン

• RQ1 距離集合ペナルティは、従来の正則化と比較して、GLM回帰において係数の縮小を回避しつつ、より効果的な代替手段となり得るか？
• RQ2 非凸制約下において、MMに基づく最適化フレームワークは収束性および計算効率においてどの程度の性能を示すか？
• RQ3 距離ペナルティは、スパースおよび低ランク回帰タスクにおける推定精度と変数選択の質をどの程度向上させるか？
• RQ4 実データおよび合成データセットにおいて、LASSO、SCAD、MCP、および核ノルム正則化と比較して、本手法は実験的にどの程度優れているか？
• RQ5 非凸制約集合に対しても、収束性と良好な統計的性能を保証しつつ、本フレームワークを拡張可能か？

主な発見

• EEGアルコール依存症データセットにおいて、距離ペナルティ付きGLMアプローチは0.139の誤分類率を達成し、過去最高の結果と同等の性能を示したが、制限的なランク1仮定に依存しなかった。
• 同じデータセットにおいて、核ノルムペナルティは低ランク解を生成できなかった。これは、距離ペナルティがランク制約を強制する点で優位であることを示している。
• MMアルゴリズムは、最大のEEGデータセットにおいて31秒で収束した。これは、座標降下法LASSO実装より遅いものの、実用性を有することを示している。
• 図4の左側プロットに示すように、本手法は気温異常データにおける等式関係を効果的に回復した。
• 距離ペナルティ、核ノルム、LASSOによる推定係数行列は、視覚的および定量的に顕著に異なるが、距離ペナルティは構造の保存性が優れていた。
• 理論的には、静的点への収束が保証され、凸制約下ではグローバル最適性も保証される。実験的結果は、非凸設定下でも頑健性を確認した。