[論文レビュー] Learning Multivariate Log-concave Distributions

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|May 26, 2016

Machine Learning and Algorithms参考文献 51被引用数 11

ひとこと要約

この論文は、$\mathbb{R}^d$ 上の多変量対数凸確率密度関数を学習するための最初の標本複雑性上界を確立し、全変動距離で $epsilon$-精度を達成するのに $~{O}_d((1/epsilon)^{(d+5)/2})$ 個の標本で十分であることを示している。この結果により、$d > 3$ の場合にのみ既知の下界と最初の非自明な上界の間のギャップが埋められ、情報理論的限界にほぼ一致する。

ABSTRACT

We study the problem of estimating multivariate log-concave probability density functions. We prove the first sample complexity upper bound for learning log-concave densities on $\mathbb{R}^d$, for all $d \geq 1$. Prior to our work, no upper bound on the sample complexity of this learning problem was known for the case of $d>3$. In more detail, we give an estimator that, for any $d \ge 1$ and $ε>0$, draws $ ilde{O}_d \left( (1/ε)^{(d+5)/2} ight)$ samples from an unknown target log-concave density on $\mathbb{R}^d$, and outputs a hypothesis that (with high probability) is $ε$-close to the target, in total variation distance. Our upper bound on the sample complexity comes close to the known lower bound of $Ω_d \left( (1/ε)^{(d+1)/2} ight)$ for this problem.

研究の動機と目的

• すべての $d \geq 1$ に対して、$\mathbb{R}^d$ 上の多変量対数凸密度関数を学習するための最初の標本複雑性上界を確立すること。特に、$d > 3$ の場合に、以前は上界が存在しなかったギャップを埋めること。
• この問題に対する既知の $dOmega_d((1/\u0065psilon)^{(d+1)/2})$ 標本複雑性下界と、最初の非自明な上界とのギャップを埋めること。
• 有限個の半空間と区分線形関数を用いた、対数凸密度関数の効率的推定を可能にする構造的近似フレームワークを提供すること。
• 推定器に用いられる近似クラスのVC次元を特定することで、将来のアルゴリズム的発展の基盤を築くこと。

提案手法

• 著者らは、$\mathbb{R}^d$ の多面体分割に基づく有限個の半空間から構成される、非パラメトリック推定器を設計し、真の対数凸密度関数を区分線形関数で近似する。
• 候補密度関数と目的密度関数の間の変動距離を捉える関数クラス $ccals{A}_{d,\u0065psilon}$ を定義し、レベル集合を有限個の半空間の積集合として表現する。
• 2つの対数凸密度関数 $g$ と $g'$ に対して、集合 $\{x : g(x) \geq g'(x)\}$ が有限個の半空間の積集合の和集合として表現可能であるという構造的結果に依存しており、これにより有限表現が可能になる。
• 有限標本集合における半空間の交差可能性の数を用いて、近似クラス $\mathcal{A}_{d,\epsilon}$ のVC次元を評価し、$O_d((1/\u0065psilon)^{(d+1)/2} \log^2(1/\u0065psilon))$ の上界を得る。
• 密度空間の離散化により、候補密度のネットを構築し、全変動距離における $epsilon$-ボールで空間を被覆するというアプローチにより、標本複雑性を導出する。
• 最終的な標本複雑性上界は、VC次元の上界と一様収束の議論を組み合わせることで得られ、高確率で $epsilon$-精度が達成されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 任意の対数凸密度関数を $\mathbb{R}^d$ 上で全変動距離で $epsilon$-精度で学習するために必要な情報理論的標本複雑性は何か？
• RQ2 $d > 3$ の場合に、多変量対数凸密度推定のための非自明な標本複雑性上界を確立できるか？（以前はこのような上界が存在しなかった。）
• RQ3 対数凸密度関数の学習における標本複雑性は、既知の $dOmega_d((1/\u0065psilon)^{(d+1)/2})$ 下界にどれほど近いか？
• RQ4 半空間などの有限な幾何的オブジェクトの族を用いて、効率的に近似可能な対数凸密度関数の構造的特徴づけは存在するか？
• RQ5 提案された推定器は、一般次元において計算的に効率的か？それとも情報理論的限界に限定されるのか？

主な発見

• この論文は、すべての $d \geq 1$ に対して、$\mathbb{R}^d$ 上の多変量対数凸密度関数を学習するための最初の標本複雑性上界を確立し、全変動距離で $epsilon$-精度を達成するのに $~{O}_d((1/epsilon)^{(d+5)/2})$ 個の標本が必要であることを示している。
• 上界は、既知の $dOmega_d((1/\u0065psilon)^{(d+1)/2})$ 下界に $~{O}_d(\u0065psilon^{-2})$ 要因で近いことから、近似的に最適であることが示唆される。
• 近似クラス $\mathcal{A}_{d,\epsilon}$ のVC次元は $O_d((1/\u0065psilon)^{(d+1)/2} \log^2(1/\u0065psilon))$ で抑えられており、これは標本複雑性上界を導出する上で中心的な役割を果たす。
• 著者らは、2つの対数凸密度関数の間の全変動距離が、それらの差の $ccals{A}_{d,c\u0065psilon}$-ノルムによって制御できることを示し、これにより有限次元の近似問題に還元可能である。
• 2つの対数凸密度関数 $g$ と $g'$ に対して、集合 $\{x : g(x) \geq g'(x)\}$ が有限個の半空間の積集合の和集合として表現可能であるという構造的結果は、分析の中心にあり、有限表現を可能にする。
• 本論文では、一般次元における対数凸密度関数の学習のための多項式時間アルゴリズムが存在するかという問題は未解決のまま残っているが、$d=1$ の場合は既にそのようなアルゴリズムが知られている。