[論文レビュー] Statistical inference using SGD

Tianyang Li, Liu Liu+2 more|arXiv (Cornell University)|May 21, 2017

Machine Learning and Algorithms被引用数 10

ひとこと要約

本稿では、固定ステップサイズを用いた確率的勾配降下法（SGD）を用いたM推定量における新しい頻度的統計的推論手法を提案する。SGD推定値の平均化と適切なスケーリングを施すことにより、ブートストラップやヘッセ行列の計算を必要とせず、漸近的に正規分布に従う推定量を達成する。合成データおよび実世界のデータセットにおいて、古典的手法と同等の精度を達成しながら、計算コストを大幅に削減できる。

ABSTRACT

We present a novel method for frequentist statistical inference in $M$-estimation problems, based on stochastic gradient descent (SGD) with a fixed step size: we demonstrate that the average of such SGD sequences can be used for statistical inference, after proper scaling. An intuitive analysis using the Ornstein-Uhlenbeck process suggests that such averages are asymptotically normal. From a practical perspective, our SGD-based inference procedure is a first order method, and is well-suited for large scale problems. To show its merits, we apply it to both synthetic and real datasets, and demonstrate that its accuracy is comparable to classical statistical methods, while requiring potentially far less computation.

研究の動機と目的

• 大規模なM推定量問題におけるブートストラップに基づく推論の計算効率の良い代替手法を開発すること。
• 固定ステップサイズのSGD系列を平均化・スケーリングすることで、信頼区間や仮説検定に適した漸近正規分布に従う推定量が得られることを示すこと。
• 高次元設定において繰り返しリサンプリングや2次微分のヘッセ行列計算による計算負荷を回避すること。
• 合成データ、ヒッグス粒子検出、スプライスジャンクション分類のデータセットを用いて、本手法の実証的妥当性を検証すること。
• 古典的手法と同等の統計的精度を維持しながら、計算コストを削減できることを示すこと。

提案手法

• 最適化における経験的リスク関数の最小化に際し、固定ステップサイズを用いたSGDによりパラメータ推定値の系列を生成する。
• バーンイン期間中のこれらのSGD反復値の平均を計算し、真のパラメータの中心極限定理推定量を構築する。
• オーランシュタイン＝ウーレンプ過程の近似を用いて、平均化されたSGD系列の漸近正規性を正当化し、動的挙動を拡散過程と関連付ける。
• 平均化された系列の共分散を、M推定量の標本分布の一貫した推定量として用いる。
• 再サンプリングを回避し、ヘッセ行列の計算も不要であり、1次微分の勾配情報のみに依存する。
• 強い凸性を満たさないロジスティック回帰のケースでは、収束性と推論の有効性を保証するための修正解析を適用する。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップを用いずに、固定ステップサイズのSGD系列からM推定量の信頼区間を構築できるか？
• RQ2 SGD反復値の平均は、真の標本分布と共分散が一致する正規分布に収束するか？
• RQ3 精度と計算コストの観点から、SGDベースの推論はブートストラップやフィッシャー情報量と比較してどのように性能を発揮するか？
• RQ4 ロジスティック回帰のような強い凸性を満たさない目的関数に対しても、本手法は効果的に適用可能か？
• RQ5 ヒッグスやLIBSVM Spliceのような大規模な実世界データセットにおいて、本手法の経験的挙動はいかなるものか？

主な発見

• n=200のヒッグスデータセットにおいて、提案手法による共分散行列は、ブートストラップ推定値および逆フィッシャー情報行列と非常に近い値を示した。
• n=50,000およびn=90,000のより大きなデータセットにおいても、SGD推論の共分散は逆フィッシャー情報行列と同等の水準を維持し、一貫性が確認された。
• n=1,000のスプライスデータセットにおいて、SGD推論の共分散は10,000サンプルのブートストラップ推定値と統計的に区別できなかった。
• 敵対的MNIST実験では、信頼区間の逸脱を通じて、摂動を加えた画像が正しく検出された。ロジット値は非重複区間にシフトした。
• 特に高次元または大規模な設定において、ブートストラップに比べてはるかに少ない計算量で、古典的手法と同等の統計的精度を達成した。
• オーランシュタイン＝ウーレンプ近似による理論的裏付けにより、弱い正則性条件のもとで、平均化されたSGD系列の漸近正規性が支持された。