[論文レビュー] Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network

Biyi Fang, Diego Klabjan|arXiv (Cornell University)|May 22, 2019

Machine Learning and ELM参考文献 25被引用数 5

ひとこと要約

本稿では、無限のデータストリームにおけるオンライン学習のための新しいレジット指標—ローリングウィンドウ付きのレジット—を導入し、凸関数および2層ReLUニューラルネットワークの両設定でO(√T)のレジットバウンドを達成する、適応的オンラインアルゴリズム（convgAdamおよびdnnAdam）を提案する。著者らは理論的収束保証を確立し、ベースライン手法よりも優れた経験的性能を示している。

ABSTRACT

Nowadays, online learning is an appealing learning paradigm, which is of great interest in practice due to the recent emergence of large scale applications such as online advertising placement and online web ranking. Standard online learning assumes a finite number of samples while in practice data is streamed infinitely. In such a setting gradient descent with a diminishing learning rate does not work. We first introduce regret with rolling window, a new performance metric for online streaming learning, which measures the performance of an algorithm on every fixed number of contiguous samples. At the same time, we propose a family of algorithms based on gradient descent with a constant or adaptive learning rate and provide very technical analyses establishing regret bound properties of the algorithms. We cover the convex setting showing the regret of the order of the square root of the size of the window in the constant and dynamic learning rate scenarios. Our proof is applicable also to the standard online setting where we provide the first analysis of the same regret order (the previous proofs have flaws). We also study a two layer neural network setting with ReLU activation. In this case we establish that if initial weights are close to a stationary point, the same square root regret bound is attainable. We conduct computational experiments demonstrating a superior performance of the proposed algorithms.

研究の動機と目的

• 標準の減少する学習率が失敗する無限のデータストリームにおけるオンライン学習の課題に対処すること。
• 固定サイズの最近のサンプルウィンドウに基づいてアルゴリズムのパフォーマンスを評価する、新しいパフォーマンス指標「ローリングウィンドウ付きのレジット」を導入すること。
• 定数または適応的学習率を用いるストリーミングデータに適した、適応的オンライン最適化アルゴリズム（convgAdam、dnnAdam）を開発すること。
• 新しい指標のもとで、凸関数および2層ReLUニューラルネットワークの両設定においてO(√T)のレジットバウンドを理論的に証明すること。
• 提案されたアルゴリズムの既存のオンライン勾配降下法および標準Adam手法に対する優位性を経験的に検証すること。

提案手法

• 固定サイズでスライディングする最近のサンプルウィンドウに基づいてオンラインアルゴリズムの性能を評価する性能指標として、ローリングウィンドウ付きのレジットを導入する。
• 一般の強い凸関数に対して、Adamスタイルの適応的学習率に基づく適応的オンライン部分勾配法であるconvgAdamを提案する。
• 2層ReLUニューラルネットワーク向けに、dnnGdおよびdnnAdamを設計し、勾配スケーリングと指数移動平均を用いた二乗勾配の適応的ステップサイズを統合する。
• 更新の安定化とレジット解析を可能にするために、適応的分散項（例：√ṽ₂,t）の平方根を含む変換を用いる。
• 期待累積損失差のバウンドを導出するため、技術的レジット分解およびテレスコピング和の技法を適用する。
• 重みおよび勾配の有界性仮定（例：W∞）を用いて成長を制御し、有限のレジットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 最近のサンプルのローリングウィンドウに注目するレジット指標は、無限のデータストリームにおけるオンライン学習のパフォーマンス評価をより現実的に行えるか？
• RQ2 標準レジットではなくローリングウィンドウ指標を用いる場合、Adamのような適応的オンラインアルゴリズムに対して理論的レジットバウンドをどのように確立できるか？
• RQ3 2層ReLUニューラルネットワークにおいて、ローリングウィンドウレジットフレームワークのもとでO(√T)のレジットを達成できるか？
• RQ4 ReLUネットワークのような非凸設定において、適応的学習率は標準のオンライン勾配降下法と比べてどのように機能するか？
• RQ5 標準のオンラインアルゴリズムにどのような変更を加えることで、ローリングウィンドウレジット指標のもとで収束を維持できるか？

主な発見

• 提案されたconvgAdamアルゴリズムは、標準の減少する学習率を用いた証明が不成立であっても、ローリングウィンドウ指標のもとで凸設定でO(√T)のレジットバウンドを達成する。
• 2層ReLUニューラルネットワークにおいて、初期重みが停留点に近い場合、dnnAdamを用いることで同じO(√T)のレジットバウンドを達成できる。
• 理論的解析により、レジットが適応的分散項の平方根の和に比例する項で有界であることが示され、その成長はO(√T)となる。
• 計算実験により、convgAdamおよびdnnAdamは、最先端の非適応的オンライン勾配降下法（OGD）および標準Adamよりも収束性および安定性において優れていることが示された。
• 解析により、定数または適応的学習率がローリングウィンドウレジットにおいて不可欠であることが確認され、減少する学習率では無限ストリーム上でのパフォーマンスが悪化することが分かった。
• 導出されたレジットバウンドは、重みおよび勾配の有界性（W∞）に依存しており、提案されたアルゴリズムフレームワークにおける安定性を保証する。