[論文レビュー] Improved Dynamic Regret for Non-degenerate Functions

Lijun Zhang, Tianbao Yang+3 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Bandit Algorithms Research被引用数 48

ひとこと要約

この論文は、コンパレータ系列の正則性指標として二乗パス長を導入することで、オンライン学習における動的リグレットの境界を改善する。複数の勾配クエリを許容することで、非退化関数、特に半強く凸および自己調和関数に対しても、強い凸性を超えて改善されたリグレット境界を達成する。

ABSTRACT

Recently, there has been a growing research interest in the analysis of dynamic regret, which measures the performance of an online learner against a sequence of local minimizers. By exploiting the strong convexity, previous studies have shown that the dynamic regret can be upper bounded by the path-length of the comparator sequence. In this paper, we illustrate that the dynamic regret can be further improved by allowing the learner to query the gradient of the function multiple times, and meanwhile the strong convexity can be weakened to other non-degenerate conditions. Specifically, we introduce the squared path-length, which could be much smaller than the path-length, as a new regularity of the comparator sequence. When multiple gradients are accessible to the learner, we first demonstrate that the dynamic regret of strongly convex functions can be upper bounded by the minimum of the path-length and the squared path-length. We then extend our theoretical guarantee to functions that are semi-strongly convex or self-concordant. To the best of our knowledge, this is the first time that semi-strong convexity and self-concordance are utilized to tighten the dynamic regret.

研究の動機と目的

• 複数の勾配クエリを活用することで、オンライン学習における動的リグレット境界を改善すること。
• 強い凸性の仮定を、半強く凸や自己調和性といった非退化条件に緩和すること。
• コンパレータ系列の正則性指標として、パス長よりもタイトな二乗パス長を導入すること。
• パス長と二乗パス長の最小値に依存するよりタイトなリグレット境界を確立すること。

提案手法

• コンパレータ系列のための新しい正則性指標として二乗パス長を導入し、これは標準的なパス長よりも著しく小さくなることがある。
• 各ラウンドで複数の勾配クエリを行うことで、変化する最適化点に適応性を高めたオンライン学習アルゴリズムを設計する。
• 強い凸関数に対して、パス長と二乗パス長の最小値に依存するリグレット境界を証明する。
• 関数の曲率特性を活用して、半強く凸および自己調和関数へと解析を拡張する。
• これらの非退化関数の構造を活用し、これまでに知られていたものよりもタイトなリグレット保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習において、複数の勾配クエリを許容することで、動的リグレットを改善できるか？
• RQ2 動的リグレットをバインドする際、二乗パス長は標準的なパス長と比べてどのように優れているか？
• RQ3 半強く凸性といった弱い非退化条件を用いることで、強い凸性を超えてリグレット境界をタイトにできるか？
• RQ4 自己調和性を活用することで、オンライン最適化における動的リグレットを改善できるか？
• RQ5 動的リグレット解析において、パス長と二乗パス長の間で最適なトレードオフは何か？

主な発見

• 複数の勾配クエリが許容される場合、強い凸関数における動的リグレットは、パス長と二乗パス長の最小値によって上界が与えられる。
• 多くの実用的状況において、二乗パス長はパス長よりも著しく小さくなることが示され、よりタイトなリグレット境界が可能になる。
• 提案された解析は半強く凸関数へと拡張され、動的リグレット設定において、この条件を用いた初のリグレット境界を提供する。
• 自己調和関数に対しては、その曲率構造を活用することで、より改善されたリグレット保証が達成される。
• 本研究は、強い凸性を超える非退化関数クラスと複数の勾配クエリを組み合わせた、初のリグレット境界を確立する。