[論文レビュー] Sample-Optimal Density Estimation in Nearly-Linear Time

Clément L. Canonne, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Jun 1, 2015

Complexity and Algorithms in Graphs参考文献 3被引用数 26

ひとこと要約

本論文は、1変量分布のアグノスティック密度推定のための新しいアルゴリズムを提示する。この分布は、区分的多項式によってよく近似可能である。本手法は、O(t(d+1)/ϵ²) 個のサンプルでサンプル最適な性能を達成し、ほぼ線形時間 eO(n·poly(d)) で実行され、高い確率で真の密度から 4·OPT + ϵ 以内の仮説を出力する。本手法は、反復的分割、分離オракルを用いた効率的な多項式フィッティング、および超平面分離のための組合せ的アルゴリズムを組み合わせており、ガウス分布混合、対数凹型、離散分布を含む広範な構造的分布クラスにおける、初めてのほぼサンプル最適かつほぼ線形時間の推定器を実現する。

ABSTRACT

We design a new, fast algorithm for agnostically learning univariate probability distributions whose densities are well approximated by piecewise polynomial functions. Let $f$ be the density function of an arbitrary univariate distribution, and suppose that $f$ is $\mathrm{OPT}$-close in $L_1$-distance to an unknown piecewise polynomial function with $t$ interval pieces and degree $d$. Our algorithm draws $n = O(t(d+1)/\epsilon^2)$ samples from $f$, runs in time $ ilde{O}(n \cdot \mathrm{poly}(d))$, and with probability at least $9/10$ outputs an $O(t)$-piecewise degree-$d$ hypothesis $h$ that is $4 \cdot \mathrm{OPT} +\epsilon$ close to $f$. Our general algorithm yields (nearly) sample-optimal and nearly-linear time estimators for a wide range of structured distribution families over both continuous and discrete domains in a unified way. For most of our applications, these are the first sample-optimal and nearly-linear time estimators in the literature. As a consequence, our work resolves the sample and computational complexities of a broad class of inference tasks via a single "meta-algorithm". Moreover, we experimentally demonstrate that our algorithm performs very well in practice. Our algorithm consists of three "levels": (i) At the top level, we employ an iterative greedy algorithm for finding a good partition of the real line into the pieces of a piecewise polynomial. (ii) For each piece, we show that the sub-problem of finding a good polynomial fit on the current interval can be solved efficiently with a separation oracle method. (iii) We reduce the task of finding a separating hyperplane to a combinatorial problem and give an efficient algorithm for this problem. Combining these three procedures gives a density estimation algorithm with the claimed guarantees.

研究の動機と目的

• 1変量分布に対して、統計的にも計算的にも効率的な高速なアグノスティック密度推定アルゴリズムを設計すること。
• ガウス分布混合、対数凹型、離散分布などの構造的分布族に対して、サンプル最適な性能を達成すること。
• アグノスティック設定における密度推定において、サンプル複雑度と実行時間を同時に最小化するという長年の未解決問題を解消すること。
• 連続的および離散的ドメインの両方に対して、同一のメタアルゴリズムを用いて推定器の設計を統一すること。

提案手法

• アルゴリズムは、実数直線を区分的多項式フィッティングに適した区間に反復的に分割するためのグリーディーなマージ手順を用いる。
• 各区間に対して、L1制約下での最良のフィッティング多項式を効率的に計算するための分離オーキュラ法を採用する。
• 分離超平面の特定問題を、組合せ最適化問題に還元し、独自のアルゴリズムで解く。
• 多項式射影を効率的に計算するための Ak-射影オーキュラを活用し、収束を高速化する。
• 全体のフレームワークはモジュラーであり、連続的および離散的ドメインの両方に対して一貫して適用可能である。
• 多項式フィッティングを、凸最適化で解けるスぺクトラル可能性問題に変換する新規な還元手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 1変量分布に対して、サンプル最適かつほぼ線形時間で実行可能な密度推定アルゴリズムを設計することは可能か？
• RQ2 統一されたメタアルゴリズムを用いて、ガウス分布混合や対数凹型分布などの構造的家族に対して、アグノスティック学習の保証を達成することは可能か？
• RQ3 区分的多項式近似の学習にかかる計算コストは何か？ そして、ほぼ線形時間にまで低減可能か？
• RQ4 アルゴリズムの性能は、サンプルサイズとターゲット分布の複雑さにどのように依存するか？
• RQ5 分離オーキュラアプローチは、非負性および有界性制約を効率的に処理するために適応可能か？

主な発見

• 本アルゴリズムは、t ピece で次数 d の多項式によってよく近似可能な分布に対して、O(t(d+1)/ϵ²) のサンプル複雑度を達成しており、情報理論的に最適である。
• 実行時間は eO(n·poly(d)) であり、n がサンプル数であるため、サンプルサイズに対してほぼ線形時間である。
• 10⁶ 個のサンプルに対して、ヒストグラム仮説では 35 ミリ秒未塔、区分的線形仮説では 0.3 秒未塔で実行され、ソーティングベースの手法を上回る性能を示す。
• 学習誤差は O(t(d+1)/ϵ²) で減少し、誤差境界の定数因子が 1 に近く、近似的に最適性を示している。
• 実行時間は元の分布にほとんど依存せず、強力な実用的性能を示している。
• 本手法は、ガウス分布混合、対数凹型、t-単調、ベゾフ空間密度の分野において、初めてのサンプル最適かつほぼ線形時間の推定器を提供する。