[論文レビュー] Adaptive Regret of Convex and Smooth Functions

Lijun Zhang, Tie‐Yan Liu+1 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Bandit Algorithms Research被引用数 17

ひとこと要約

本稿では、スケールフリーなオンライン勾配降下法と問題依存の区間構築を活用して、よりタイトなレギュレートバウンドを達成する、強い意味で適応的な凸関数のオンライン凸最適化のためのアルゴリズムSACSを提案する。主な貢献は、比較対象の累積損失 $ L_{r}^{s} $ が最悪ケースの $ O(\sqrt{(s-r)\log s}) $ バウンドと比較して小さい場合に顕著に改善される、$ O(\sqrt{L_{r}^{s} \log s \cdot \log(s-r)}) $ の適応的レギュレートバウンドの導出である。

ABSTRACT

We investigate online convex optimization in changing environments, and choose the adaptive regret as the performance measure. The goal is to achieve a small regret over every interval so that the comparator is allowed to change over time. Different from previous works that only utilize the convexity condition, this paper further exploits smoothness to improve the adaptive regret. To this end, we develop novel adaptive algorithms for convex and smooth functions, and establish problem-dependent regret bounds over any interval. Our regret bounds are comparable to existing results in the worst case, and become much tighter when the comparator has a small loss.

研究の動機と目的

• 時間とともに変化する環境において、最適な意思決定が変化する状況での適応的レギュレートの最小化という課題に取り組む。
• 凸関数の滑らかさを活用することで、凸性のみに依存するものよりよりタイトなレギュレートバウンドを達成する。
• 損失の大きさに関する事前知識がなくても、比較対象の損失が小さい場合に自動的に利益を得られる適応的アルゴリズムを設計する。
• 実際の損失経路に基づいて区間を再帰的に構築する新しい戦略を開発し、レギュレートバウンドをさらにタイトにする。

提案手法

• 損失スケールの事前知識が不要なスケールフリーなオンライン勾配降下法（SOGD）を導入し、滑らかさに自動的に適応する。
• 幾何的に間隔を空けた区間上で複数のSOGDインスタンスを組み合わせることで、滑らかな凸関数向けの強い適応的アルゴリズム（SACS）を設計する。
• 複数のSOGDインスタンスからの予測を統合するエキスパート追跡メタアルゴリズムを採用し、低損失の比較対象から利益を得られるようにする。
• 累積損失経路に基づいて問題依存の区間を構築することで、固定区間アプローチを上回るレギュレートバウンドを精緻化する。
• すべての区間が対数的数の基本区間でカバーされるように、マーカーに基づく区間カバー方式を採用し、効率的なレギュレート解析を可能にする。
• レギュレート寄与を区間全体で制御するため、$ \tilde{c}(t) $ と $ \tilde{a}(t), \tilde{b}(t) $ を用いた新しいレギュレート分解とバウンド技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 凸関数の滑らかさを活用することで、凸性のみに依存するものよりタイトな適応的レギュレートバウンドを達成できるか？
• RQ2 比較対象の区間内での累積損失が小さい場合、どのようにして適応的レギュレートを改善できるか？
• RQ3 損失スケールに関する事前知識がなくても、低損失の比較対象から自動的に利益を得られるメタアルゴリズムを設計できるか？
• RQ4 実際の損失経路に基づいて区間を適応的に構築することで、さらにレギュレートバウンドを改善できるか？

主な発見

• SACSアルゴリズムは、任意の区間 $[r,s]$ において、$ L_{r}^{s} $ をその区間における比較対象の最小累積損失とするとき、$ O(\sqrt{L_{r}^{s} \log s \cdot \log(s-r)}) $ の適応的レギュレートバウンドを達成する。
• このバウンドは、$ L_{r}^{s} \ll s-r $ の場合に、既存の $ O(\sqrt{(s-r)\log s}) $ バウンドよりも厳密にタイトである。特に低損失領域で顕著な改善が得られる。
• 損失経路に基づいて問題依存の区間を構築することで、さらにレギュレートバウンドは $ O(\sqrt{L_{r}^{s} \log L_{1}^{s} \cdot \log L_{r}^{s}}}) $ に改善され、実データにさらに適応的になる。
• SOGD部品により、損失スケールや曲率に関する事前知識がなくても、滑らかさを自動的に活用できる。
• 理論的解析により、マーカーを用いたレギュレート分解と区間カバーが、区間長に対して対数的依存性を保ちつつ、実際の比較対象損失にタイトに適合することを確認した。