[論文レビュー] Near-Optimal Density Estimation in Near-Linear Time Using Variable-Width Histograms

Siu-On Chan, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Nov 1, 2014

Machine Learning and Algorithms参考文献 26被引用数 16

ひとこと要約

本稿では、変動幅ヒストグラムを用いた密度推定の近似的最適で近線形時間のアルゴリズムを提示する。合計変動距離が $ C \cdot \mathrm{opt}_k(p) + \varepsilon $ 以下となることを保証し、$ \tilde{O}(k/\varepsilon^2) $ のサンプル数と実行時間で達成される。ここで $ C $ は普遍定数であり、$ \mathrm{opt}_k(p) $ は $ k $-区分定数分布による最良の近似を表す。

ABSTRACT

Let $p$ be an unknown and arbitrary probability distribution over $[0,1)$. We consider the problem of {\em density estimation}, in which a learning algorithm is given i.i.d. draws from $p$ and must (with high probability) output a hypothesis distribution that is close to $p$. The main contribution of this paper is a highly efficient density estimation algorithm for learning using a variable-width histogram, i.e., a hypothesis distribution with a piecewise constant probability density function. In more detail, for any $k$ and $ε$, we give an algorithm that makes $ ilde{O}(k/ε^2)$ draws from $p$, runs in $ ilde{O}(k/ε^2)$ time, and outputs a hypothesis distribution $h$ that is piecewise constant with $O(k \log^2(1/ε))$ pieces. With high probability the hypothesis $h$ satisfies $d_{\mathrm{TV}}(p,h) \leq C \cdot \mathrm{opt}_k(p) + ε$, where $d_{\mathrm{TV}}$ denotes the total variation distance (statistical distance), $C$ is a universal constant, and $\mathrm{opt}_k(p)$ is the smallest total variation distance between $p$ and any $k$-piecewise constant distribution. The sample size and running time of our algorithm are optimal up to logarithmic factors. The "approximation factor" $C$ in our result is inherent in the problem, as we prove that no algorithm with sample size bounded in terms of $k$ and $ε$ can achieve $C<2$ regardless of what kind of hypothesis distribution it uses.

研究の動機と目的

• 計算効率の良い密度推定アルゴリズムの開発を目的とし、近的最適なサンプル数と実行時間の両立を達成すること。
• 特に真の分布が $ k $-ヒストグラムでよく近似できる場合に、$[0,1)$ 上の未知の確率分布を i.i.d. サンプルから学習する課題に取り組むこと。
• ターゲット分布が正確に $ k $-ヒストグラムでない場合でも、合計変動距離においてターゲットに近い仮説分布を出力する手法を設計すること。
• サンプルサイズが $ k $ と $ \varepsilon $ に依存する任意のアルゴリズムについて、近似要因 $ C $ のタイトな理論的境界を確立し、$ C < 2 $ が不可能であることを示すこと。

提案手法

• 仮説クラスとして変動幅ヒストグラムを用い、分布構造をよりよく捉えるために非一様なビン分割を可能にする。
• 経験的分布推定に基づいて動的に区間を精緻化する、新しい適応的サンプリングおよびビン分割戦略を採用する。
• 誤差と複雑さのバランスを取る再帰的分割技術を適用し、最終的なヒストグラムに $ O(k \log^2(1/\varepsilon)) $ 個の部分を保証する。
• 経験的分布との合計変動距離を最小化する枠組みを用いて、最適なビンを選択する。
• 濃度境界と尾部不等式を組み合わせ、近似品質に関する高確率的保証を確保する。
• サンプルサイズの下界を示すために、誕生日パラドックス型の境界に基づく区別論法を用い、サンプル数の最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 変動幅ヒストグラムを用いた密度推定において、近的最適なサンプル数と近線形実行時間の両立は可能か？
• RQ2 サンプルサイズが $ k $ と $ \varepsilon $ に依存する任意のアルゴリズムについて、$ k $-ヒストグラムを学習する際の最良の近似要因 $ C $ は何か？
• RQ3 サンプル数と実行時間が $ \tilde{O}(k/\varepsilon^2) $ で抑えられ、かつ定数の近似要因を維持できるアルゴリズムを設計することは可能か？
• RQ4 近似品質と計算効率の観点から、固定幅ヒストグラムと比較して変動幅ヒストグラムはどのように性能を発揮するか？
• RQ5 任意の仮説クラスに関わらず、アグノスティックな $ k $-ヒストグラム学習において、近似要因 $ C < 2 $ を達成できるアルゴリズムは存在しないことを証明できるか？

主な発見

• 提案されたアルゴリズムは、合計変動距離が $ d_{\mathrm{TV}}(p,h) \leq C \cdot \mathrm{opt}_k(p) + \varepsilon $ を満たし、$ C $ は普遍定数であり、$ \mathrm{opt}_k(p) $ は最良の $ k $-区分定数近似を表す。
• アルゴリズムは $ \tilde{O}(k/\varepsilon^2) $ のサンプル数と $ \tilde{O}(k/\varepsilon^2) $ の実行時間で動作し、両者とも対数要因を除いて最適である。
• 仮説 $ h $ は $ O(k \log^2(1/\varepsilon)) $ 個の部分を持つ区分定数分布であり、複雑な密度に細かく適合できる。
• 近似要因 $ C $ は本質的であり、$ \sqrt{N} $-サンプル下界に基づく区別論法により、2未満に改善できないことが証明された。
• サンプル数と実行時間の複雑さは、対数要因を除いて最適であり、アルゴリズムはアグノスティックな $ k $-ヒストグラム学習の情報理論的下界と一致する。
• この結果により、計算効率と統計的正確性の間のタイトな関係が確立され、両者の近的最適性が両立可能であることが示された。