[論文レビュー] Projection-free Distributed Online Learning with Sublinear Communication Complexity

Yuanyu Wan, Guanghui Wang+2 more|arXiv (Cornell University)|Mar 20, 2021

Advanced Bandit Algorithms Research被引用数 7

ひとこと要約

本稿では、D-BOCG を提案する。これは、凸損失関数に対して通信複雑度を O(√T) に、強い凸損失関数に対しては O(T^{1/3}(log T)^{2/3}) に低減する、投影自由な分散オンライン学習アルゴリズムであり、遅延更新機構と再定義された代理損失関数を用いることで、それぞれ O(T^{3/4}) および O(T^{2/3}(log T)^{1/3}) の最適なレグレットバウンドを維持する。

ABSTRACT

To deal with complicated constraints via locally light computations in distributed online learning, a recent study has presented a projection-free algorithm called distributed online conditional gradient (D-OCG), and achieved an $O(T^{3/4})$ regret bound for convex losses, where $T$ is the number of total rounds. However, it requires $T$ communication rounds, and cannot utilize the strong convexity of losses. In this paper, we propose an improved variant of D-OCG, namely D-BOCG, which can attain the same $O(T^{3/4})$ regret bound with only $O(\sqrt{T})$ communication rounds for convex losses, and a better regret bound of $O(T^{2/3}(\log T)^{1/3})$ with fewer $O(T^{1/3}(\log T)^{2/3})$ communication rounds for strongly convex losses. The key idea is to adopt a delayed update mechanism that reduces the communication complexity, and redefine the surrogate loss function in D-OCG for exploiting the strong convexity. Furthermore, we provide lower bounds to demonstrate that the $O(\sqrt{T})$ communication rounds required by D-BOCG are optimal (in terms of $T$) for achieving the $O(T^{3/4})$ regret with convex losses, and the $O(T^{1/3}(\log T)^{2/3})$ communication rounds required by D-BOCG are near-optimal (in terms of $T$) for achieving the $O(T^{2/3}(\log T)^{1/3})$ regret with strongly convex losses up to polylogarithmic factors. Finally, to handle the more challenging bandit setting, in which only the loss value is available, we incorporate the classical one-point gradient estimator into D-BOCG, and obtain similar theoretical guarantees.

研究の動機と目的

• 分散オンライン条件勾配（D-OCG）の通信複雑度を T ラウンドから T の非線形関数に低減させつつ、レグレット性能を維持すること。
• 損失関数の強い凸性を活用して、D-OCG の O(T^{3/4}) のレグレットバウンドを超える、分散オンライン学習におけるより良いレグレットバウンドを達成すること。
• 線形最適化ステップのみを用いて、投影なしの更新を維持する通信効率の良いアルゴリズムを設計すること。
• 凸および強い凸設定の両方において、提案された通信複雑度の最適性を示す理論的下界を確立すること。
• 1点勾配推定器を用いてバンドイット設定へとフレームワークを拡張し、同様の理論的保証を維持すること。

提案手法

• T ラウンドを B 個のブロックに分割する遅延更新機構を導入し、通信回数を T 回から B 回に削減する。
• D-OCG の元の代理損失関数を、損失関数の強い凸性を活用できるより一般的な形に置き換える。
• 局所的な学習者が各ブロックごとに1回ずつ通信するブロックワイズ更新戦略を採用し、通信頻度を最小限に抑える。
• バンドイット設定への拡張にあたり、勾配推定に1点勾配推定器を用いる。この設定では、損失値のみが観測可能である。
• マーティングールド差分列とベルンシュタイン型不等式を用いて、バンドイットバージョンにおける勾配推定誤差をバウンドする。
• ブロック平均勾配の累積誤差と収束性を分析することで、レグレットおよび通信複雑度のバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 D-OCG の通信複雑度を O(T) から T の非線形関数に低減させることは可能か？ その際、レグレット性能が劣化しないか？
• RQ2 損失関数の強い凸性を分散オンライン学習で活用することで、O(T^{3/4}) のレグレットバウンドを超える性能を達成できるか？
• RQ3 凸損失関数に対する提案された通信複雑度 O(√T) は、定数係数を除き、T に関して最適か？
• RQ4 強い凸損失関数に対する提案された通信複雑度 O(T^{1/3}(log T)^{2/3}) は、多対数因子を除き、T に関して近似的に最適か？
• RQ5 損失フィードバックのみが利用可能なバンドイット設定へと、フレームワークを拡張可能か？ その際、同様のレグレットおよび通信保証を維持できるか？

主な発見

• D-BOCG は、凸損失関数に対して O(T^{3/4}) のレグレットバウンドを達成し、通信ラウンド数を D-OCG の T 回から O(√T) に著しく低減する。
• 強い凸損失関数に対しては、D-BOCG は O(T^{2/3}(log T)^{1/3}) のよりタイトなレグレットバウンドを達成し、通信ラウンド数は O(T^{1/3}(log T)^{2/3}) である。
• 凸損失関数に対する通信複雑度 O(√T) は、定数係数を除き、T に関して最適であることが証明された。
• 強い凸損失関数に対する通信複雑度 O(T^{1/3}(log T)^{2/3}) は、多対数因子を除き、T に関して近似的に最適である。
• D-BOCG のバンドイット拡張は、1点勾配推定器を用いることで、同様のレグレットおよび通信複雑度保証を維持する。
• 理論的分析により、遅延更新機構と再定義された代理損失関数が、通信効率およびレグレットバウンドの向上に鍵となることが確認された。