[論文レビュー] Density estimation in linear time

Satyaki Mahalanabis, Daniel Štefankovič|ArXiv.org|Dec 18, 2007

Machine Learning and Algorithms参考文献 10被引用数 14

ひとこと要約

本稿では、最小距離推定と同一の理論的保証（L₁精度において最適）を達成するが、計算効率を著しく向上させた2つの新しいアルゴリズムを提示する。最初のアルゴリズムは、分布族Fのサイズに関して2次時間に計算を削減し、Schefféトーナメントと同等の効率を達成するが、より優れた誤差境界を有する。2番目のアルゴリズム、「効率的最小損失重み推定」は、Fの事前処理を経て線形時間計算量を達成し、スケーラビリティに優れる。主な貢献は、最小限の計算コストで最適な誤差保証を維持する手法であり、最悪ケースの例を用いて理論的最適性が証明されている。

ABSTRACT

We consider the problem of choosing a density estimate from a set of distributions F, minimizing the L1-distance to an unknown distribution (Devroye, Lugosi 2001). Devroye and Lugosi analyze two algorithms for the problem: Scheffe tournament winner and minimum distance estimate. The Scheffe tournament estimate requires fewer computations than the minimum distance estimate, but has strictly weaker guarantees than the latter. We focus on the computational aspect of density estimation. We present two algorithms, both with the same guarantee as the minimum distance estimate. The first one, a modification of the minimum distance estimate, uses the same number (quadratic in |F|) of computations as the Scheffe tournament. The second one, called ``efficient minimum loss-weight estimate,'' uses only a linear number of computations, assuming that F is preprocessed. We also give examples showing that the guarantees of the algorithms cannot be improved and explore randomized algorithms for density estimation.

研究の動機と目的

• 最小距離推定の計算非効率性（2次時間）を是正すること。これは強力な理論的保証を提供するが、
• 同じ誤差境界を維持するが、最小距離推定よりも高速な代替手法を開発すること。
• 分布族Fに対する初期事前処理を経て、|F|に関して線形時間計算量を達成する密度推定アルゴリズムを設計すること。
• 最悪ケースの例を用いて誤差境界のタイトネスを示し、理論的保証の改善が不可能であることを示すこと。

提案手法

• 分布同士の比較を、テスト関数T_ij = sgn(f_i(x) - f_j(x)) を用いて、経験的分布hとの内積によって行うことで、密度推定を再定式化する。
• 最小距離推定を変更し、O(|F|²)個の内積のみを計算することで、計算コストを削減しながらも誤差保証を維持する。
• 「効率的最小損失重み推定」アルゴリズムを提案。事前処理段階でテスト関数の構造を事前に計算することで、O(|F|)の計算時間で推定を可能にする。
• 真の分布と経験的分布の乖離を、誤差パラメータΔ = max_T∈T_F (g - h) · T で上限付ける。
• 内積比較 (f_i - h) · T_ij < (f_j - h) · T_ji を用いて、推定プロセス内でf_iがf_jに「勝つ」かどうかを決定する。
• 原子的確率空間を用いた悪意ある例を構築し、誤差境界のタイトネスを証明する。これにより、任意の決定的アルゴリズムが最適誤差の3倍未満の誤差を保証することは不可能であることが示される。

実験結果

リサーチクエスチョン

• RQ1 最小距離推定と同等のL₁誤差保証を達成しつつ、計算コストを低減することは可能か？
• RQ2 分布族Fに関して事前処理を経て線形時間計算量を達成する密度推定アルゴリズムを設計することは可能か？
• RQ3 決定的テスト関数ベースの密度推定アルゴリズムにおける、最もタイトな近似係数は何か？
• RQ4 確率的アルゴリズムは、分布の混合物に対して2より良い近似係数を達成できるか？
• RQ5 既存のアルゴリズムの理論的誤差保証はタイトか、それらを改善できるか？

主な発見

• 提示された効率的最小損失重み推定は、事前処理後はO(|F|)の計算量で最良のL₁誤差保証を達成し、最小距離推定のO(|F|²)コストに比べて顕著に改善されている。
• 変更版最小距離推定は、元のものと同一の誤差保証を維持するが、計算コストをO(|F|²)に削減し、Schefféトーナメントの効率と一致する。
• 最悪ケースの例により、Schefféトーナメントの勝者による誤差境界が、定数因子3までタイトであることが示され、任意の決定的アルゴリズムが最適誤差の3倍未満の誤差を保証することは不可能であることが証明された。
• 別の例では、h = gのとき、アルゴリズム1が最適誤差の9倍の誤差を持つ分布を出力しうることを示し、このアルゴリズムの境界がタイトであることが証明された。
• 確率的アルゴリズムが混合物を出力する場合、可能な限り良い近似係数は2であり、ε → 0のときこの境界はタイトである。
• 本稿では、明示的な構成により、理論的誤差保証の改善は不可能であることを証明した。誤差比がアルゴリズムや設定に応じて3、9、または2に近づく例が提示された。