[論文レビュー] Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization

Tianyi Chen, Tianyu Ding+7 more|arXiv (Cornell University)|Apr 7, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用数 5

ひとこと要約

本論文は、解のスパarsityを著しく向上させるために、Proximal Stochastic Gradientステップと直交領域に基づく射影ステップを組み合わせた、ℓ₁正則化問題向けの新しい確率的最適化手法OBProx-SGを提案する。凸および非凸設定、特にMobileNetV1やResNet18のような深層ニューラルネットワークにおいて、競争力のある目的関数値と汎化精度を維持しながら、Prox-SGに比べ最大21.86倍もスパースな解を達成する。

ABSTRACT

Sparsity-inducing regularization problems are ubiquitous in machine learning applications, ranging from feature selection to model compression. In this paper, we present a novel stochastic method -- Orthant Based Proximal Stochastic Gradient Method (OBProx-SG) -- to solve perhaps the most popular instance, i.e., the l1-regularized problem. The OBProx-SG method contains two steps: (i) a proximal stochastic gradient step to predict a support cover of the solution; and (ii) an orthant step to aggressively enhance the sparsity level via orthant face projection. Compared to the state-of-the-art methods, e.g., Prox-SG, RDA and Prox-SVRG, the OBProx-SG not only converges to the global optimal solutions (in convex scenario) or the stationary points (in non-convex scenario), but also promotes the sparsity of the solutions substantially. Particularly, on a large number of convex problems, OBProx-SG outperforms the existing methods comprehensively in the aspect of sparsity exploration and objective values. Moreover, the experiments on non-convex deep neural networks, e.g., MobileNetV1 and ResNet18, further demonstrate its superiority by achieving the solutions of much higher sparsity without sacrificing generalization accuracy.

研究の動機と目的

• 既存の確率的手法が、ℓ₁正則化最適化において高速収束と高スパarsityを同時に達成できないという限界に対処すること。
• 標準的なProximal法やバリアンス低減型確率的手法よりも、ℓ₁正則化の構造的性質をより効果的に活用すること。
• 特に深層学習において、モデルの汎化性能を損なわず、スパarsityを向上させること。
• 凸および非凸問題の両方に対して、理論的収束保証を提供すること。
• スパースなモデル表現により、メモリおよびエネルギー効率の面で実用的優位性を示すこと。

提案手法

• 本手法は、解のサポートカバーを予測するProximal Stochastic Gradientステップと、スパarsityを強化する直交領域面への射影ステップを交互に実行する。
• 直交領域ステップは、現在の反復点の符号パターンに基づき定義されるより大きな領域へ射影することで、標準的なProximal更新よりもより能動的なスパarsity促進が可能となる。
• 2段階戦略を採用する：まず、良好な反復点に到達するためのProximal Stochastic Gradient段階（$N_{ ext{P}} = 5N/| ext{B}|$）を実行し、その後、スパarsity強化のための直交領域射影段階（$N_{ ext{O}} = 5N/| ext{B}|$）に移行する。
• 非凸設定では、収束を保証するための拡張されたProximal段階（$N_{ ext{P}} = 100N/| ext{B}|$）を備えた、変更版OBProx-SG(+)を用いる。
• ミニバッチを用いて勾配を推定することで、反復ごとの計算コストを低減し、大規模問題にも対応できるように設計されている。
• 直交領域面の部分問題は、現在の反復点の符号パターンに基づき構築され、構造的スパarsity促進が可能となる。

実験結果

リサーチクエスチョン

• RQ1 確率的最適化手法は、ℓ₁正則化問題において、高速収束と高スパarsityの両方を達成できるか？
• RQ2 直交領域に基づく射影ステップは、標準的なProximal勾配ステップに比べ、スパarsity促進において顕著に優れているか？
• RQ3 本手法は非凸な深層学習設定において、スパarsityと汎化性能の両面でどのように性能を発揮するか？
• RQ4 Prox-SG、RDA、Prox-SVRGに比べてはるかにスパースな解を生成しながらも、競争力のある目的関数値を維持できるか？
• RQ5 2段階設計（Proximal + 直交領域）は、スパarsityの進化と収束行動にどのような影響を及けるか？

主な発見

• Fashion-MNISTでResNet18を学習した際、OBProx-SG(+)はProx-SGに比べ最大21.86倍のスパarsityを達成し、密度がたった0.29%にとどまった。
• CIFAR10でMobileNetV1を学習した際、OBProx-SG(+)は密度2.90%（97.1%スパース）を達成し、Prox-SG（14.17%密度）を著しく上回った。
• テスト精度は他の手法と同等（例：MobileNetV1/CIFAR10で90.91%）を維持しており、汎化性能の低下は認められなかった。
• スパarsityの進化を観察したところ、OBProx-SG(+)は初期段階ではProx-SGと同等の性能を示したが、直交領域ステップに移行後、他の手法を大きく凌駕した。これは、本手法の強力なスパarsity促進能力を裏付ける。
• 凸問題においても、OBProx-SGはProx-SG、RDA、Prox-SVRGを上回り、スパarsityと目的関数値の両面で優れた性能を示した。一部のケースでは収束速度も速かった。
• 理論的分析により、凸問題では期待値におけるグローバル解への収束が保証され、非凸問題では静止点への収束が確認された。