[論文レビュー] The entropic barrier: a simple and optimal universal self-concordant barrier

Sébastien Bubeck, Ronen Eldan|arXiv (Cornell University)|Dec 4, 2014

Advanced Bandit Algorithms Research参考文献 13被引用数 21

ひとこと要約

本稿では、凸体上での一様測度の対数ラプラス変換のフェンヒェル双対から導かれる、新しい明示的自己調和バリア「エントロピックバリア」を導入する。このバリアは (1+o(1))n-自己調和であることが証明され、下位の項を除いて最適な自己調和パラメータを達成しており、ネステロフとネミロフスキーの古典的なユニバーサルバリアよりも顕著に改善されている。

ABSTRACT

We prove that the Cramér transform of the uniform measure on a convex body in $\mathbb{R}^n$ is a $(1+o(1)) n$-self-concordant barrier, improving a seminal result of Nesterov and Nemirovski. This gives the first explicit construction of a universal barrier for convex bodies with optimal self-concordance parameter. The proof is based on basic geometry of log-concave distributions, and elementary duality in exponential families.

研究の動機と目的

• 任意の R^n 内の凸体に対して、最適な自己調和パラメータを持つ明示的でユニバーサルな自己調和バリアを構築すること。
• 1994年にネステロフとネミロフスキーが得た画期的なユニバーサルバリア結果（ある普遍的定数 C に対して ν ≤ Cn を保証）を改善すること。
• 自己調和パラメータを (1+o(1))n にまで漸近的に最適化できることを確立し、特定の凸集合（単体や超立方体など）における理論的下界 ν ≥ n と一致させること。
• 既存の構成（例：標準バリア）よりも解析が容易な、確率論的に解釈可能なバリア（エントロピックバリア）を提供すること。

提案手法

• K ⊂ R^n である凸体 K に対して、対数ラプラス変換 f(θ) = log∫_K exp(⟨θ,x⟩)dx を定義する。
• フェンヒェル双対 f*(x) = sup_θ ⟨θ,x⟩ − f(θ) を構築し、これが int(K) 上で自己調和バリアであることが示される。
• 対数凹分布の幾何学的性質と双対性を用いて、n ≥ 80 のとき ε_n ≤ 100√(log n / n) を満たす (1+ε_n)n-自己調和であることを証明する。
• 指数型分布族における基本的双対性を活用し、f* を K 上の標準分布の負のエントロピーとして解釈する。
• 凸幾何学と集中法の技術を用いて、等方的対数凹確率変数の鋭いモーメント評価（例：E[X^3] ≤ 2）を確立する。
• 対数凹密度の尾部減衰に関する新しい解析を用いて、密度が ε 倍に減少する区間外での分散を評価する。

実験結果

リサーチクエスチョン

• RQ1 凸体に対するユニバーサルな自己調和バリアを、理論的最小値 n に限りなく近い自己調和パラメータで構築することは可能か？
• RQ2 最適な自己調和性を達成し、既存の構成よりも解析が容易な自然で確率論的に解釈可能なバリアは存在するか？
• RQ3 凸体上での対数ラプラス変換のフェンヒェル双対の自己調和パラメータの正確な漸近的挙動は何か？
• RQ4 高次元における対数ラプラス変換の三階微分は、自己調和条件とどのように関係するか？

主な発見

• R^n 内の凸体 K 上での一様測度の対数ラプラス変換のフェンヒェル双対 f* は、int(K) 上で (1+o(1))n-自己調和バリアである。
• n ≥ 80 のとき、自己調和パラメータは ε_n ≤ 100√(log n / n) を満たし、これは漸近的に最適であることを意味する。
• エントロピックバリアは下位の項を除いて最適な自己調和パラメータを達成しており、単体や超立方体などの集合における理論的下界 ν ≥ n と一致する。
• この構成はユニバーサルかつ明示的であり、自己調和パラメータが最適である最初のこのようなバリアであり、ネステロフとネミロフスキーのユニバーサルバリアを改善している。
• 等方的対数凹確率変数の鋭いモーメント評価（例：実数値の等方的対数凹確率変数 X に対して E[X^3] ≤ 2）に依存している。
• エントロピックバリアは、K 上の標準指数型分布族の負のエントロピーとして自然に解釈可能であり、標準バリアよりも解析が容易である。