[論文レビュー] Generalized Mixability via Entropic Duality

Mark D. Reid, Rafael Frongillo+2 more|arXiv (Cornell University)|Jun 24, 2014

Advanced Bandit Algorithms Research参考文献 29被引用数 9

ひとこと要約

本稿では、確率単体上の任意の凸エントロピー関数 $Φ$ を用いて、混合可能性の一般化された概念—$Φ$-混合可能性—を導入し、古典的な専門家アドバイスによる予測理論を拡張する。エントロピー双対性とブレグマン損失を活用することで、$Φ$-混合可能損失に対して定数レグレットを保証する一般化された集約アルゴリズムを導出する。主な洞察は、古典的混合可能性における対数/指数関数の操作が本質的であるのではなく、エントロピーの双対性の性質から生じるということである。

ABSTRACT

Mixability is a property of a loss which characterizes when fast convergence is possible in the game of prediction with expert advice. We show that a key property of mixability generalizes, and the exp and log operations present in the usual theory are not as special as one might have thought. In doing this we introduce a more general notion of $Φ$-mixability where $Φ$ is a general entropy (\ie, any convex function on probabilities). We show how a property shared by the convex dual of any such entropy yields a natural algorithm (the minimizer of a regret bound) which, analogous to the classical aggregating algorithm, is guaranteed a constant regret when used with $Φ$-mixable losses. We characterize precisely which $Φ$ have $Φ$-mixable losses and put forward a number of conjectures about the optimality and relationships between different choices of entropy.

研究の動機と目的

• 予測における専門家アドバイスの古典的混合可能性概念を、対数関数や指数関数を超えて一般化すること。
• 任意の凸エントロピー $Φ$ に対して、損失が $Φ$-混合可能であるための条件を同定すること。
• 任意の $Φ$-混合可能損失を用いて定数レグレットを保証する一般化された集約アルゴリズムを開発すること。
• レグレットバウンドの観点から、さまざまなエントロピー関数の最適性を特徴付け、普遍的優位性の可能性を同定すること。
• 双対性と凸解析を通じて、エントロピー関数とそれらが導くレグレットバウンドとの関係を調査すること。

提案手法

• 確率単体上の一般エントロピー $Φ$ の凸共役を用いて、$Φ$-混合可能性を定義する。
• $Φ$ に関連するブレグマン損失に基づいて導出されたレグレットバウンドを最小化することで、一般化された集約アルゴリズムを構築する。
• エントロピー双対性を用いて、凸共役が平行移動不変性を満たす限り、定数レグレットの核心的技術的結果が成立することを示す。
• エントロピー $Φ$ 及びその共役に関するレジェンドル条件を用いて、$Φ$-混合可能損失の集合を特徴付ける。
• スケーリングに依存しない比較を可能にするために、スケール不変レグレットバウンド $R_{\ell,\Phi}$ を定義する。
• R を用いた数値最適化により、最大の $Φ$-混合可能性定数を計算し、さまざまなエントロピー-損失ペアにおけるレグレットバウンドを評価する。

実験結果

リサーチクエスチョン

• RQ1 古典的混合可能性条件は、対数関数や指数関数を超えて一般化可能か？
• RQ2 凸エントロピー $Φ$ のどのような構造的性質が、損失が $Φ$-混合可能であることを保証するか？
• RQ3 すべての損失に対して、よりタイトなレグレットバウンドを達成する観点から、負のシャノンエントロピー $H$ は他のすべてのエントロピーを支配するか？
• RQ4 損失 $\ell^{\Phi}$ が同じエントロピー $Φ$ から導出される場合、最適 $Φ$-混合可能性定数 $\eta$ は常に 1 か？
• RQ5 スケーリングに依存しない方法で、さまざまなエントロピー関数に対する一般化された集約アルゴリズムのレグレットバウンドをどのように比較できるか？

主な発見

• 一般化された集約アルゴリズムは、任意の $Φ$-混合可能損失に対して定数レグレットを保証し、そのバウンドは $\eta^{-1} \inf_{\mu} \sup_{\theta} D_{\Phi}(\delta_{\theta}, \mu)$ で与えられる。
• 定数レグレットを可能にする鍵となる性質は、対数/指数関数そのものではなく、エントロピー $Φ$ の凸共役が持つ平行移動不変性である。
• 2出力・2専門家ゲームの全テスト例において、負のシャノンエントロピー $H$ がすべての損失-エントロピーペアで最もタイトなレグレットバウンドを達成しており、予想2を支持する。
• 損失 $\ell^{\Phi}$ が同じエントロピー $Φ$ から導出される場合、最大の $Φ$-混合可能性定数 $\eta$ は常に 1 である。これは予想3を支持する。
• レグレットバウンド $R_{\ell,\Phi}$ は $\Phi$ のスケーリングに対して不変であり、異なるエントロピー間の公平な比較を可能にする。
• 本稿では、すべての損失 $\ell$ に対して $R_{\ell,\Phi} \leq R_{\ell,\Psi}$ が成り立つならば $\Phi \geq_{*} \Psi$ と定義されるスケール不変優位関係 $\Phi \geq_{*} \Psi$ を同定し、$\Phi$ が $\Psi$ を支配することを示す。