[論文レビュー] Improved Optimistic Mirror Descent for Sparsity and Curvature

Parameswaran Kamalaruban|arXiv (Cornell University)|Sep 8, 2016

Advanced Vision and Imaging参考文献 10被引用数 3

ひとこと要約

本稿では、損失関数のスパarsity、予測可能性、曲率を同時に活用することで、オンライン凸最適化のレグレットバウンドを改善する、適応的かつ楽観的なミラー降下アルゴリズムを提案する。データに依存する正則化子と楽観的な勾配予測を統合することで、先行研究よりも√2の改善を達成し、凸性パラメータの事前知識が不要なまま曲率に適応可能であり、非滑らかな正則化子を有する複合損失関数へも拡張可能である。

ABSTRACT

Online Convex Optimization plays a key role in large scale machine learning. Early approaches to this problem were conservative, in which the main focus was protection against the worst case scenario. But recently several algorithms have been developed for tightening the regret bounds in easy data instances such as sparsity, predictable sequences, and curved losses. In this work we unify some of these existing techniques to obtain new update rules for the cases when these easy instances occur together. First we analyse an adaptive and optimistic update rule which achieves tighter regret bound when the loss sequence is sparse and predictable. Then we explain an update rule that dynamically adapts to the curvature of the loss function and utilizes the predictable nature of the loss sequence as well. Finally we extend these results to composite losses.

研究の動機と目的

• スパarsity、予測可能性、曲率の複数の容易なデータ例を同時に適応するオンライン学習アルゴリズムの開発。
• 適応的かつ楽観的なミラー降下技術を統合し、既存手法よりもタイトなレグレットバウンドを達成すること。
• 正則化項が非滑らかで線形化されない複合損失関数へのアルゴリズムの拡張。
• 強い凸性パラメータの事前知識が不要なまま、曲率下で対数的レグレットバウンドを維持すること。
• 任意の時刻ステップで有効なレグレット解析を提供し、実用的な文脈での頑健性と適応性を保証すること。

提案手法

• データに依存する正則化子と予測勾配を用いた、適応的かつ楽観的なミラー降下更新則の導入により、レグレットバウンドの向上を実現。
• 時間変動する正則化子を用いたBregman散発を採用し、強い凸性を維持するとともに勾配のスパarsityに適応。
• 将来の勾配予測˜gt+1を組み込むことで、予測可能な損失系列におけるレグレットを低減。
• 累積差分∥gt − ˜gt∥∗に基づく動的学習率戦略を採用し、O(√T)とO(log T)のレグレットレジームの間を滑らかに補間。
• 非滑らかな正則化子ψtを更新式に保持することで、線形化を行わず複合損失へ拡張。
• 強い凸性とBregman散発の性質を活用した、修正されたFTRLスタイルの解析により、タイトなレグレットバウンドを導出。

実験結果

リサーチクエスチョン

• RQ1 損失系列におけるスパarsityと予測可能性を同時に適応するオンライン学習アルゴリズムを設計可能か？
• RQ2 適応的正則化と楽観的勾配予測を組み合わせることで、ミラー降下におけるレグレットバウンドをどのように改善できるか？
• RQ3 強い凸性パラメータの事前知識がなくても、曲率のある損失に対して対数的レグレットを達成可能か？
• RQ4 非滑らかな正則化子を有する複合目的関数へ、楽観的ミラー降下をどのように拡張できるか？
• RQ5 スパarsity、予測可能性、曲率が同時に発生する状況で達成可能な最良のレグレットバウンドは何か？

主な発見

• 提案された適応的かつ楽観的なミラー降下アルゴリズムは、スパースかつ予測可能な状況において、先行研究より√2の改善を達成するO(√(∑∥gt − ˜gt∥²∗))のレグレットバウンドを達成する。
• 強い凸性のある損失に対しては、凸性パラメータの事前知識が不要なままO(log(∑∥gt − ˜gt∥²∗))のレグレットバウンドを達成する。
• アルゴリズムは損失関数の曲率に応じて、O(√T)とO(log T)のレグレットレジームの間で動的に補間する。
• 複合損失バージョンのアルゴリズムのレグレットバウンドは、非複合ケースと同一であり、すべての改善が保持される。
• アルゴリズムは任意の時刻ステップでレグレット保証を維持し、オンライン学習システムへの実用的導入を可能にする。
• 理論的解析はβt-凸損失へ拡張可能であるが、この場合、学習率の閉形式解は得られない。