[論文レビュー] A generalization of regularized dual averaging and its dynamics

Shih-Kang Chao, Guang Cheng|arXiv (Cornell University)|Sep 22, 2019

Advanced Optimization Algorithms Research参考文献 89被引用数 16

ひとこと要約

本稿は、定常ステップサイズを用いた一般化正則化双対平均（gRDA）アルゴリズムを導入し、オンライン学習における弱収束解析と構造的パラメータの漸近分布理論を可能にする。オンライン $\varepsilon_1$-ペナルティ問題における平均がゼロである初めての漸近的正規性を確立し、スパースオンライン回帰およびPCAにおける有効な統計的推論とサポート回復を可能にする。バッチLassoとは異なり、推定の偏りがある極限分布とは対照的である。

ABSTRACT

Excessive computational cost for learning large data and streaming data can be alleviated by using stochastic algorithms, such as stochastic gradient descent and its variants. Recent advances improve stochastic algorithms on convergence speed, adaptivity and structural awareness. However, distributional aspects of these new algorithms are poorly understood, especially for structured parameters. To develop statistical inference in this case, we propose a class of generalized regularized dual averaging (gRDA) algorithms with constant step size, which improves RDA (Xiao, 2010; Flammarion and Bach, 2017). Weak convergence of gRDA trajectories are studied, and as a consequence, for the first time in the literature, the asymptotic distributions for online l1 penalized problems become available. These general results apply to both convex and non-convex differentiable loss functions, and in particular, recover the existing regret bound for convex losses (Nemirovski et al., 2009). As important applications, statistical inferential theory on online sparse linear regression and online sparse principal component analysis are developed, and are supported by extensive numerical analysis. Interestingly, when gRDA is properly tuned, support recovery and central limiting distribution (with mean zero) hold simultaneously in the online setting, which is in contrast with the biased central limiting distribution of batch Lasso (Knight and Fu, 2000). Technical devices, including weak convergence of stochastic mirror descent, are developed as by-products with independent interest. Preliminary empirical analysis of modern image data shows that learning very sparse deep neural networks by gRDA does not necessarily sacrifice testing accuracy.

研究の動機と目的

• ステップワイズなアルゴリズムに構造的パラメータペナルティを適用する際の統計的推論ツールの不足に取り組むこと。特にオンラインおよびストリーミング環境において。
• オンライン $\ell_1$-ペナルティ問題における弱収束解析と漸近分布理論を可能にする、一般化正則化双対平均（gRDA）フレームワークを構築すること。
• オンラインスパース推定がサポート回復と同時に、平均がゼロの漸近的正規分布を達成する条件を確立すること。バッチLassoとは異なり、推定に偏りがあることとは対照的である。
• 弱収束の理論的枠組みを拡張し、オンライン最適化への応用を広げるために、確率的ミラー降下の弱収束を一般化すること。
• オンラインスパース線形回帰およびスパースPCAにおける広範な数値的分析を通じて理論を検証すること。特に信頼区間の被覆確率と軌道の挙動を評価すること。

提案手法

• 定常ステップサイズを用いた一般化RDAフレームワークを提案。時間依存ペナルティ項 $ c_0 n \gamma \mathcal{P}(\mathbf{w}) $ と強凸正則化子 $ F(\mathbf{w}) $ を組み込み、標準的RDAおよびSGDを一般化する。
• 確率的微分方程式（SDE）近似を用いてgRDA軌道の弱収束を分析。損失関数および勾配ノイズにやや厳しい条件を課さずに、漸近的正規性を確立する。
• 推定子の漸近的分布を、期待勾配のヘッセ行列とペナルティ構造に依存する共分散行列を持つ中心化正規分布として導出する。
• オンラインスパース線形回帰およびオンラインスパースPCAにこのフレームワークを適用し、パラメータ推定値の理論的信頼区間（TACB）を導出する。
• 時間スケーリング変換技術を用いて、特に鞍点および定常解の近傍でのアルゴリズムのダイナミクスを分析し、軌道の分岐および収束パターンを説明する。
• 1000回の繰り返しを用いたシミュレーションスタディを実施し、漸近的理論の妥当性を検証。信頼区間の被覆確率をステップサイズ $\gamma$ の関数として測定する。

実験結果

リサーチクエスチョン

• RQ1 $\ell_1$-ペナルティを伴う確率的オンラインアルゴリズムは、同時にサポート回復と漸近的正規性、平均がゼロの極限分布を達成できるか？
• RQ2 オンライン設定におけるgRDA軌道の弱極限は何か？また、ステップサイズおよびペナルティ構造にどのように依存するか？
• RQ3 オンライン $\ell_1$-ペナルティ推定子の漸近的分布は、バッチLassoとはどのように異なるか。特にバイアスの観点から。
• RQ4 ヘッセ行列に類似する行列 $ -\nabla G(\mathbf{w}(t)) $ は、鞍点付近での実験的軌道の安定性および分散にどのような役割を果たすか？
• RQ5 理論的信頼区間（TACB）は、オンラインスパース推定における有限標本の不確実性を正確に捉えることができるか？また、ステップサイズを小さくすることで被覆確率は向上するか？

主な発見

• オンライン $\ell_1$-ペナルティ問題において、gRDA推定子の漸近的分布はゼロを中心とするものであり、バッチLassoとは異なり偏りのある極限分布とは対照的である。これにより、有効な統計的推論が可能になる。
• 理論的漸近的信頼区間（TACB）の平均被覆確率は、ステップサイズ $\gamma$ が小さくなるにつれて向上し、提案された推論フレームワークの漸近的妥当性を確認する。
• 適切にチューニングされたgRDAは、オンラインスパース線形回帰およびスパースPCAにおいて、同時にサポート回復と漸近的正規性、平均がゼロの極限分布を達成する。
• オンラインスパースPCAにおける実験的軌道は、特にヘッセ固有値が正である場合、鞍点付近での大きな分散のため、分岐を示し、代替の定常点（例：$\pm 10^{-1/2}$）に収束することがある。
• ヘッセ行列に類似する行列 $ -\nabla G(\mathbf{w}(t)) $ に正の固有値があると、SDE近似における信頼区間の幅が拡大する。これは、$ t=5 $ 以降に固有値が負に変わるまで安定化しないことを示す。
• 画像データに対する予備の実験では、gRDAがテスト精度に顕著な損失を伴わず、非常にスパースな深層ニューラルネットワークを訓練できることを示し、実用的有用性を支持する。