[論文レビュー] Uncertainty Quantification for Online Learning and Stochastic Approximation via Hierarchical Incremental Gradient Descent

Weijie Su, Yuancheng Zhu|arXiv (Cornell University)|Feb 13, 2018

Stochastic Gradient Optimization Techniques参考文献 49被引用数 29

ひとこと要約

この論文は、標準的なSGDと同等の計算コストで、t分布に基づく信頼区間を用いてオンライン学習における不確実性の定量化を可能にする、階層的インクリメンタル勾配降下法であるHiGradを提案する。SGDの軌道を複数のスレッドに分割し、Donsker形式のRuppert–Polyak平均化の拡張を活用することで、正則性条件下で信頼区間の漸近的正確な被覆確率を達成する。これは、ストリーミングおよび大規模データに対する統計的検定が有効であることを示す。

ABSTRACT

Stochastic gradient descent (SGD) is an immensely popular approach for online learning in settings where data arrives in a stream or data sizes are very large. However, despite an ever- increasing volume of work on SGD, much less is known about the statistical inferential properties of SGD-based predictions. Taking a fully inferential viewpoint, this paper introduces a novel procedure termed HiGrad to conduct statistical inference for online learning, without incurring additional computational cost compared with SGD. The HiGrad procedure begins by performing SGD updates for a while and then splits the single thread into several threads, and this procedure hierarchically operates in this fashion along each thread. With predictions provided by multiple threads in place, a t-based confidence interval is constructed by decorrelating predictions using covariance structures given by a Donsker-style extension of the Ruppert--Polyak averaging scheme, which is a technical contribution of independent interest. Under certain regularity conditions, the HiGrad confidence interval is shown to attain asymptotically exact coverage probability. Finally, the performance of HiGrad is evaluated through extensive simulation studies and a real data example. An R package higrad has been developed to implement the method.

研究の動機と目的

• オンラインおよび大規模な学習設定における確率的勾配降下法（SGD）に対する統計的推論ツールの欠如に対処すること。
• 計算コストを増加させることなく、SGD推定量の有効な信頼区間を提供する計算効率の高い手法を開発すること。
• データが逐次到着するか、保存に耐えられないほど大きな場合のオンライン学習における不確実性の定量化を可能にすること。
• 共分散構造推定に基づくt分布フレームワークを用いて、漸近的に正確な信頼区間を確立すること。
• Ruppert–Polyak平均化スキームを階層的・マルチスレッド設定に拡張し、分散低減と推論の向上を図ること。

提案手法

• HiGradは、初期段階で標準的なSGDを実行し、その後、木構造的な階層を用いて単一の最適化経路を複数の並列スレッドに分割する。
• 各スレッドは独立にインクリメンタル勾配更新を実行し、モデルパラメータの複数の相関する推定量を生成する。
• 本手法は、パラメータ推定量の漸近的共分散行列を推定するために、Ruppert–Polyak平均化スキームのDonsker形式の拡張を用いる。
• 複数のスレッドからの予測を、推定された共分散構造を用いて非相関化し、t分布に基づく信頼区間を構築する。
• 推論にはt分布が用いられ、自由度は非相関化された推定量の有効サンプルサイズによって決定される。
• この手順は、標準的なSGDを上回る追加の計算コストを発生させず、オンラインおよびメモリ効率の良い性質を維持する。

実験結果

リサーチクエスチョン

• RQ1 計算コストを増加させることなく、オンライン学習におけるSGD推定量の有効な信頼区間を構築できるか？
• RQ2 複数のSGD軌道を効果的に非相関化することで、信頼性の高いt分布に基づく推論を可能にする方法は何か？
• RQ3 提案された階層的勾配降下フレームワークは、信頼区間に対して漸近的に正確な被覆確率を達成するか？
• RQ4 HiGradが有効な不確実性の定量化を保証する正則性条件は何か？
• RQ5 この手法は、線形回帰、ロジスティック回帰、罰則付き回帰、Huber回帰を含む広範な統計的モデルに適用可能か？

主な発見

• HiGradは、有限の四次モーメントと局所的強い凸性といった標準的な正則性条件下で、t分布に基づく信頼区間に対して漸近的に正確な被覆確率を達成する。
• 本手法は、標準的なSGDと同等の計算コストを維持するため、オンラインおよび大規模な学習応用に適している。
• シミュレーション研究およびAdultデータセットを用いた実データ例から、HiGradが、50％の確率付近の高分散領域でさえも予測ばらつきを効果的に捉えていることが示された。
• HiGradにより構築された信頼区間は、モデルの誤指定に対しても頑健であり、データおよび勾配の弱いモーメント条件のもとで有効なまま保たれる。
• 理論的分析により、階層的Ruppert–Polyakスキームによる共分散構造推定が一貫した分散推定をもたらし、正確な推論を可能にすることが確認された。
• 適切なモーメントおよびサポート条件の下で、本手法は線形回帰、ロジスティック回帰、罰則付き一般化線形モデル、Huber回帰を含む広範なM推定量問題に適用可能である。