[論文レビュー] Majorizing Measures, Sequential Complexities, and Online Learning

Adam Block, Yuval Dagan+1 more|arXiv (Cornell University)|Feb 2, 2021

Computability, Logic, AI Algorithms参考文献 22被引用数 4

ひとこと要約

本稿は、主要測度と逐次ラデマッハ複雑度の間の新しい関係を確立し、分数的カバー数と逐次スケール感受性次元を用いて、時間枠に依存しない逐次複雑度の制御を導入する。最悪ケースの逐次ラデマッハ複雑度に対してタイトな縮小不等式を証明し、オンライン学習分野における長年の未解決問題を解決するとともに、古典的経験過程理論を、積分に基づいた鋭い境界を用いた逐次設定へと拡張する。

ABSTRACT

We introduce the technique of generic chaining and majorizing measures for controlling sequential Rademacher complexity. We relate majorizing measures to the notion of fractional covering numbers, which we show to be dominated in terms of sequential scale-sensitive dimensions in a horizon-independent way, and, under additional complexity assumptions establish a tight control on worst-case sequential Rademacher complexity in terms of the integral of sequential scale-sensitive dimension. Finally, we establish a tight contraction inequality for worst-case sequential Rademacher complexity. The above constitutes the resolution of a number of outstanding open problems in extending the classical theory of empirical processes to the sequential case, and, in turn, establishes sharp results for online learning.

研究の動機と目的

• 逐次設定における古典的経験過程理論を拡張するために、逐次ラデマッハ複雑度を分析するための枠組みを構築すること。
• 主要測度を用いて最悪ケースの逐次ラデマッハ複雑度をタイトに制御することで、オンライン学習分野の未解決問題を解決すること。
• 時間枠に依存しない形で、逐次複雑度を分数的カバー数と逐次スケール感受性次元に関連付けること。
• 古典的ガウス過程結果に類似した、逐次ラデマッハ複雑度に対する鋭い縮小不等式を証明すること。
• 統一的な複雑性理論的枠組みを通じて、オンライン学習、プライベート学習、敵対的耐性分野における既存の結果を統合・強化すること。

提案手法

• オンライン学習設定において、一般化チェイニングと主要測度を用いて逐次ラデマッハ複雑度を制御する手法を導入する。
• 逐次過程のための分数的カバー数を定義・分析し、時間枠に依存しない形で、それが逐次スケール感受性次元に支配されることを示す。
• 最悪ケースの逐次ラデマッハ複雑度が、逐次ファットシャッタリング次元の積分によって、定数倍の要因まで制御されることを確立する。
• 逐次ラデマッハ複雑度に対してタイトな縮小不等式を導出し、それが普遍定数の範囲でタイトであることを証明する。
• 理論を用いて、一様マルティングルールの法則とオンライン学習におけるミニマックスレジストを境界づける。
• 測度の再帰的構築と木構造に基づく解析を用いて、二進木上のカバー数の対数の積分を境界づける。

実験結果

リサーチクエスチョン

• RQ1 主要測度を用いて、オンライン学習設定における逐次ラデマッハ複雑度を制御できるか？
• RQ2 分数的カバー数と逐次スケール感受性次元の間には、時間枠に依存しない関係が存在するか？
• RQ3 逐次ファットシャッタリング次元の積分を用いて、最悪ケースの逐次ラデマッハ複雑度をタイトに境界づけられるか？
• RQ4 ガウスケースに類似した、逐次ラデマッハ複雑度に対する鋭い縮小不等式が存在するか？
• RQ5 この理論は、オンライン学習、プライベート学習、敵対的耐性分野における結果を統合・強化できるか？

主な発見

• 最悪ケースの逐次ラデマッハ複雑度は、単位区間上で逐次ファットシャッタリング次元の平方根の積分に定数倍をかけたもので境界づけられる。
• 逐次過程の分数的カバー数は、時間枠の長さに依存せず、逐次スケール感受性次元の積分に支配される。
• 逐次ラデマッハ複雑度に対して鋭い縮小不等式が確立され、それが普遍定数の範囲でタイトであることが示された。
• 理論により、時間枠に依存しない複雑性測度（逐次ファットシャッタリング次元に基づく）が得られ、オンライン学習分野の未解決問題が解決された。
• 結果として、オンライン学習におけるミニマックスレジストと一様マルティングルールの法則に対するタイトな境界が得られ、プライベート学習や敵対的耐性への応用が可能になった。
• この枠組みにより、古典的経験過程理論が逐次ケースへと拡張され、マルティングル過程のドゥドラーチェインジングおよびフェルヌーク＝タラグランド境界の完全な類似物が提供された。