[論文レビュー] Statistical Inference for Online Learning and Stochastic Approximation via Hierarchical Incremental Gradient Descent.

Weijie Su, Yuancheng Zhu|arXiv (Cornell University)|Feb 13, 2018

Stochastic Gradient Optimization Techniques参考文献 35被引用数 5

ひとこと要約

本稿では、追加の計算コストなしにオンライン学習における確率的勾配降下法（SGD）の有効な統計的推論を可能にする、新しい階層的インクリメンタル勾配降下法であるHiGradを提案する。SGDを複数のスレッドに分割し、Ruppert–Polyak平均化を用いて予測の相関を解消することで、モデルパラメータの漸近的に正確なt分布に基づく信頼区間を構築する。

ABSTRACT

Stochastic gradient descent (SGD) is an immensely popular approach for online learning in settings where data arrives in a stream or data sizes are very large. However, despite an ever-increasing volume of work on SGD, much less is known about the statistical inferential properties of SGD-based predictions. Taking a fully inferential viewpoint, this paper introduces a novel procedure termed HiGrad to conduct statistical inference for online learning, without incurring additional computational cost compared with SGD. The HiGrad procedure begins by performing SGD updates for a while and then splits the single thread into several threads, and this procedure hierarchically operates in this fashion along each thread. With predictions provided by multiple threads in place, a t-based confidence interval is constructed by decorrelating predictions using covariance structures given by the Ruppert--Polyak averaging scheme. Under certain regularity conditions, the HiGrad confidence interval is shown to attain asymptotically exact coverage probability. Finally, the performance of HiGrad is evaluated through extensive simulation studies and a real data example. An R package higrad has been developed to implement the method.

研究の動機と目的

• オンライン学習環境における確率的勾配降下法（SGD）の統計的推論ツールの欠如に対処すること。
• 計算負荷の増加なしにSGDに基づく予測の有効な信頼区間を提供する手法を開発すること。
• ストリーミングまたは大規模データ環境における信頼区間の漸近的に正確な被覆確率を実現すること。
• 実用的で実装可能な統計的推論フレームワークを提供し、Rパッケージを支援すること。

提案手法

• HiGradは、最初に単一スレッドでSGDの更新を実行した後、階層的にプロセスを複数の並列スレッドに分割する。
• 各スレッドは独立にSGDを実行し、同じモデルパラメータのための複数の予測経路を生成する。
• 予測のスレッド間の共分散構造を推定するために、Ruppert–Polyak平均化方式を用いる。
• 推定された共分散行列を用いて予測を非相関化し、t分布に基づく信頼区間を構築する。
• 階層的分割戦略により、計算効率を確保しながら統計的妥当性を維持する。
• このアプローチは、標準的なSGDと計算的に同等であり、追加コストを発生させない。

実験結果

リサーチクエスチョン

• RQ1 計算コストの増加なしに、オンライン学習におけるSGDベースの予測に対して信頼性のある統計的推論が可能か？
• RQ2 標準的な正則性条件の下で、HiGrad手法は漸近的に正確な信頼区間被覆確率を達成するか？
• RQ3 階層的スレッド分割戦略は、標準的なSGDと比較して、推論の精度と妥当性にどのような影響を与えるか？
• RQ4 Ruppert–Polyak平均化方式は、複数スレッドのオンライン学習における分散推定に効果的に適応可能か？
• RQ5 有限標本設定において、HiGradは既存の推論手法と比較してどのように性能を発揮するか？

主な発見

• 正則性条件の下で、HiGradは信頼区間の漸近的に正確な被覆確率を達成し、有効な統計的推論を保証する。
• この手法は、標準的なSGDと同等の計算効率を維持しており、大規模およびストリーミングデータに適している。
• シミュレーション研究により、さまざまな設定において、HiGradは名目水準に近い被覆確率の信頼区間を生成することが示された。
• 実データの例は、本手法の実世界のオンライン学習応用における実用的有用性とロバストネスを確認している。
• Rパッケージ higrad は正常に実装され、公開利用可能となっており、再現性と採用を支援している。
• Ruppert–Polyak共分散推定による予測の非相関化は、単純なアプローチと比較して、区間の精度を顕著に向上させた。