[論文レビュー] Constant Regret, Generalized Mixability, and Mirror Descent

Zakaria Mhammedi, Robert C. Williamson|arXiv (Cornell University)|Feb 1, 2018

Advanced Bandit Algorithms Research被引用数 1

ひとこと要約

本稿は、一般化アグリゲーティングアルゴリズム（GAA）が専ら定数レグレットを達成する条件を特定することで、$Φ$-ミキシナビリティを特徴づける。シャノンエントロピー（$Σ$）が根本的であることを証明する。すべての$Φ$-ミキシナブルな損失は必然的に$Σ$-ミキシナブルであり、GAAはシャノンエントロピーを用いることで最小の最悪ケースレグレットを達成する。また、ミラー降下との関連から、新たな適応的GAAが提案される。

ABSTRACT

We consider the setting of prediction with expert advice; a learner makes predictions by aggregating those of a group of experts. Under this setting, and for the right choice of loss function and ``mixing'' algorithm, it is possible for the learner to achieve a constant regret regardless of the number of prediction rounds. For example, a constant regret can be achieved for \emph{mixable} losses using the \emph{aggregating algorithm}. The \emph{Generalized Aggregating Algorithm} (GAA) is a name for a family of algorithms parameterized by convex functions on simplices (entropies), which reduce to the aggregating algorithm when using the \emph{Shannon entropy} $\operatorname{S}$. For a given entropy $\Phi$, losses for which a constant regret is possible using the extsc{GAA} are called $\Phi$-mixable. Which losses are $\Phi$-mixable was previously left as an open question. We fully characterize $\Phi$-mixability and answer other open questions posed by \cite{Reid2015}. We show that the Shannon entropy $\operatorname{S}$ is fundamental in nature when it comes to mixability; any $\Phi$-mixable loss is necessarily $\operatorname{S}$-mixable, and the lowest worst-case regret of the extsc{GAA} is achieved using the Shannon entropy. Finally, by leveraging the connection between the \emph{mirror descent algorithm} and the update step of the GAA, we suggest a new \emph{adaptive} generalized aggregating algorithm and analyze its performance in terms of the regret bound.

研究の動機と目的

• 与えられたエントロピー関数$Φ$に対して、一般化アグリゲーティングアルゴリズム（GAA）を用いて定数レグレットを達成する損失の集合を特徴づけること。
• Reidら（2015）が提起した未解決の問題である、どの損失が$Φ$-ミキシナブルであるかを解明すること。
• ミキシナビリティとレグレット最小化において、シャノンエントロピー（$Σ$）が果たす根本的役割を確立すること。
• ミラー降下フレームワークを活用して、より優れたレグレットバウンドを達成する新たな適応的GAAの設計を行うこと。

提案手法

• 確率単体上の凸解析を用いて、$Φ$-ミキシナビリティの形式的特徴づけを導入する。
• 与えられたエントロピー$Φ$に対して、GAAフレームワークにおける定数レグレットバウンドの存在を用いて、$Φ$-ミキシナビリティを定義する。
• GAAの更新ルールとミラー降下の間の双対性を確立し、$Φ$に起因するバーグマン発散を同定する。
• Legendre-Fenchel変換を用いて$Φ$の共役関数を導出し、レグレットバウンドの導出を可能にする。
• 任意の$Φ$-ミキシナブルな損失は、$Σ$（シャノンエントロピー）-ミキシナブルであることを証明する。
• 過去の損失に基づいて$Φ$を動的に調整することで、適応的GAAを提案する。これはミラー降下の原理にインspiredされたものである。

実験結果

リサーチクエスチョン

• RQ1 与えられた凸エントロピー関数$Φ$（確率単体上）に対して、どの損失が$Φ$-ミキシナブルであるか。
• RQ2 $Φ$-ミキシナビリティと$Σ$-ミキシナビリティ（$Σ$はシャノンエントロピー）の間に根本的な違いがあるか。
• RQ3 GAAは、他のエントロピー関数よりもシャノンエントロピー$Σ$を用いることで、最小の最悪ケースレグレットを達成できるか。
• RQ4 ミラー降下フレームワークをどのように活用して、改善されたレグレット性能を達成する適応的GAAを設計できるか。
• RQ5 GAAにおける$Φ$の選択と、それによるレグレットバウンドの関係は何か。

主な発見

• すべての$Φ$-ミキシナブルな損失は、必然的に$Σ$-ミキシナブルである。これは、シャノンエントロピーがミキシナビリティの普遍的下界であることを示す。
• GAAの最悪ケースレグレットは、シャノンエントロピー$Σ$を基本エントロピー関数として用いる場合に最小化される。
• GAAの更新ルールは、$Φ$に起因するバーグマン発散に関するミラー降下ステップと数学的に同等である。
• 過去の損失に基づいて$Φ$を動的に選択することで、非i.i.d.設定においてもレグレット性能が向上する新たな適応的GAAが提案される。
• 本稿はReidら（2015）が提起した未解決問題を完全に解明し、$Φ$-ミキシナブルな損失の集合を明確に特徴づけた。