[論文レビュー] On Equivalence of Martingale Tail Bounds and Deterministic Regret Inequalities

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Oct 13, 2015

Advanced Bandit Algorithms Research参考文献 20被引用数 9

ひとこと要約

本稿は、マルティンゲールの尾確率的境界、期待値内境界、およびオンライン学習における決定的レジーット不等式の間の基本的同値性を確立する。この双対性を活用することで、適応的ステップサイズを用いたオンラインミラー降下を用いて、バナッハ空間値マルティンゲールに対する鋭い指数的尾境界を導出し、逐次的複雑さを対数的要因の範囲で特徴付ける一般化されたマルティンゲール型の概念を導入する。

ABSTRACT

We study an equivalence of (i) deterministic pathwise statements appearing in the online learning literature (termed \emph{regret bounds}), (ii) high-probability tail bounds for the supremum of a collection of martingales (of a specific form arising from uniform laws of large numbers for martingales), and (iii) in-expectation bounds for the supremum. By virtue of the equivalence, we prove exponential tail bounds for norms of Banach space valued martingales via deterministic regret bounds for the online mirror descent algorithm with an adaptive step size. We extend these results beyond the linear structure of the Banach space: we define a notion of \emph{martingale type} for general classes of real-valued functions and show its equivalence (up to a logarithmic factor) to various sequential complexities of the class (in particular, the sequential Rademacher complexity and its offset version). For classes with the general martingale type 2, we exhibit a finer notion of variation that allows partial adaptation to the function indexing the martingale. Our proof technique rests on sequential symmetrization and on certifying the \emph{existence} of regret minimization strategies for certain online prediction problems.

研究の動機と目的

• マルティンゲールの上界に関する高確率的尾境界、期待値内境界、およびオンライン学習からの決定的レジーット不等式の間の形式的同値性を確立すること。
• 線形バナッハ空間構造を超えて、マルティンゲールの指数的尾境界を一般化するため、マルティンゲール型の一般化された概念を導入すること。
• 逐次的ラダマッハ複雑度およびそのオフセット版といった逐次的複雑さが、この一般化されたマルティンゲール型と対数的要因の範囲で同値であることを示すこと。
• マルティンゲール過程におけるインデキシング関数への部分的適応を可能にする、変化の refined 概念を考案すること。

提案手法

• 逐次的シンメトライゼーションを用いて、確率的マルティンゲール不等式とオンライン予測における決定的パスワイズのリスク不等式を結びつける。
• ミニマックス定理を適用して、リスクを最小化する戦略の存在を証明し、これによりマルティンゲール上界をバインドする予測可能な過程が得られることを示す。
• 適応的ステップサイズを用いたオンラインミラー降下を用いて、バナッハ空間値マルティンゲールの鋭い尾境界を導く決定的リスク不等式を導出する。
• 逐次的複雑度測度を用いて定義される、実数値関数のクラスに対する一般化されたマルティンゲール型を導入する。
• この一般化されたマルティンゲール型と逐次的ラダマッハ複雑度（対数的要因の範囲で）の同値性を確立する。
• 決定的リスク不等式と確率的尾境界との間の反復的移行を用いて、特にマルティンゲール型 2 クラスに対して境界を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな変化を経路依存的変化に置き換えることで、バナッハ空間値マルティンゲールの指数的尾境界を強化できるか？
• RQ2 線形バナッハ空間構造を超えて、逐次的複雑さを捉えるマルティンゲール型の一般化は存在するか？
• RQ3 オンライン学習における決定的リスク不等式とマルティンゲール上界に関する確率的尾境界との間の同値性は、どの程度成立するか？
• RQ4 リスク不等式と尾境界の同値性を用いて、非線形的または非ガウス過程に対しても鋭い境界を導出できるか？
• RQ5 マルティンゲール型 2 プロセスにおける変化の概念は、マルティンゲールをインデキシングする関数にどのように適応するか？

主な発見

• 本稿では、適応的ステップサイズを用いたオンラインミラー降下からの決定的リスク不等式を用いて、バナッハ空間値マルティンゲールの上界に関する指数的尾境界が導出可能であることを証明している。
• 実数値関数のクラスに対して一般化されたマルティンゲール型が導入され、それが逐次的ラダマッハ複雑度およびそのオフセット版と、対数的要因の範囲で同値であることが示されている。
• マルティンゲール型 2 を有するクラスに対しては、インデキシング関数への部分的適応を可能にする、変化の精緻化された概念が開発されており、境界の鋭さが向上している。
• リスク不等式、尾境界、期待値内境界の間の同値性が正式に確立され、両方向に活用されてより強い結果が得られている。
• 分析により、リスクを最小化する戦略の存在（ミニマックス定理によって証明）が、タイトな確率的境界をもたらす予測可能な過程を直接示していることが明らかになった。
• この手法により、決定的不等式を用いて実数値マルティンゲールの濃度に還元することで、ベクトル値マルティンゲールのノルムに関する高確率的境界を導出可能である。