[論文レビュー] Sequential Probability Assignment with Binary Alphabets and Large Classes of Experts

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Jan 29, 2015

Advanced Bandit Algorithms Research参考文献 17被引用数 8

ひとこと要約

本稿は、二値結果と対数損失を用いた逐次確率予測におけるミニマックスレジストのタイトな上限と下限を、専門家クラスの逐次複雑度を用いて確立する。未定義の勾配を有する対数損失を扱うために、ベルンシュタイン型の境界を用いた新規の逐次チェイン化技術を導入し、高次元ユークリッド球など大規模なクラスに対しても非自明なレジスト境界を可能にした。また、関数値の境界のみを必要とする自己調和バリアに基づくアルゴリズムを提示した。

ABSTRACT

We analyze the problem of sequential probability assignment for binary outcomes with side information and logarithmic loss, where regret---or, redundancy---is measured with respect to a (possibly infinite) class of experts. We provide upper and lower bounds for minimax regret in terms of sequential complexities of the class. These complexities were recently shown to give matching (up to logarithmic factors) upper and lower bounds for sequential prediction with general convex Lipschitz loss functions (Rakhlin and Sridharan, 2015). To deal with unbounded gradients of the logarithmic loss, we present a new analysis that employs a sequential chaining technique with a Bernstein-type bound. The introduced complexities are intrinsic to the problem of sequential probability assignment, as illustrated by our lower bound. We also consider an example of a large class of experts parametrized by vectors in a high-dimensional Euclidean ball (or a Hilbert ball). The typical discretization approach fails, while our techniques give a non-trivial bound. For this problem we also present an algorithm based on regularization with a self-concordant barrier. This algorithm is of an independent interest, as it requires a bound on the function values rather than gradients.

研究の動機と目的

• 二値結果と対数損失を用いた逐次確率割り当てにおけるミニマックスレジストを特徴づけること。
• 特に大規模または無限大のクラスの場合に、専門家クラスの複雑度がレジストに与える影響を分析すること。
• 対数損失関数に無限大の勾配が存在する場合に適切に扱える新しい解析技術を開発すること。
• 標準的な離散化手法が失敗する高次元の専門家クラスに対し、非自明なレジスト境界を提供すること。
• 勾配の境界ではなく関数値の境界のみを必要とする正則化に基づくアルゴリズムを設計すること。

提案手法

• 切り捨てられた専門家クラスのためのレジストを制限するために、修正されたオフセット逐次ラデマッハ複雑度を導入する。
• ベルンシュタイン型集中を用いた逐次チェイン化技術を用いて、準ガウス分布および準指数的尾部の挙動を制御する。
• 対数損失関数における無限大の勾配を管理するために、τδ(a)による切り捨てを用いる。
• 高次元ユークリッド球内のベクトルによってパラメータ化される特定の専門家クラスに対して、自己調和バリア正則化法を適用する。
• 脂肪シャッタリング次元の再帰的構築と木構造のシャッタリング論法を用いて、レジスト境界を導出する。
• 対称化を不要とする解析と、対数損失の自己情報性を組み合わせることで、切り捨てパラメータδに依存する部分の依存関係を改善する。

実験結果

リサーチクエスチョン

• RQ1 専門家クラスの逐次複雑度は、対数損失を用いた逐次確率予測におけるミニマックスレジストにどのように影響するか？
• RQ2 勾配が無限大である損失関数に対し、ベルンシュタイン型の境界を用いた逐次チェイン化法が、レジストを効果的に制御できるか？
• RQ3 標準的な離散化手法が失敗する、高次元ユークリッド球内のベクトルによってパラメータ化されるような大規模な専門家クラスのミニマックスレジストは何か？
• RQ4 勾配の境界ではなく関数値の境界のみを必要とする正則化に基づくアルゴリズムを、この問題に対して設計できるか？
• RQ5 クラスの複雑度および問題パラメータに依存するレジストの上限と下限は、どのように比較されるか？

主な発見

• 本稿は、対数的要因を除き、逐次複雑度の観点からミニマックスレジストの一致する上限と下限を確立した。
• 提案されたベルンシュタイン型の境界を用いた逐次チェイン化は、単調なクラスに対してO(n^{3/5})のオーダーのレジスト境界を達成し、既知のレートを回復した。
• d次元ユークリッド球内のベクトルによってパラメータ化される専門家クラスに対しては、O(d^{1/2} n^{1/2} log n)の非自明なレジスト境界が得られ、dが増大しても空虚でない。
• 解析により、導入された逐次複雑度が、一致する下限によって示されるように、問題の本質的特性であることが示された。
• 関数値の境界のみを必要とする自己調和バリアに基づくアルゴリズムが開発され、勾配の制御が不適切な状況に適用可能となった。
• δ ∈ (0, 1/2)を用いた切り捨て法により、δに依存するレジストの依存関係を制御でき、最終的な境界はO(δ n)に加え、チェインド複雑度項に比例する。