[論文レビュー] Rapid parametric density estimation

Jarek Duda|arXiv (Cornell University)|Feb 7, 2017

Blind Source Separation Techniques参考文献 5被引用数 5

ひとこと要約

本稿では、ディラックデルタカーネルへの二乗平均誤差最小化に基づく、高速で線形なパrametric密度推定手法を提案する。この手法により、基底関数（多項式やフーリエモードなど）の標本平均を用いて密度パラメータを直接計算可能となり、誤差は $1/\sqrt{n}$ のレートで減少する。これは計算コストの高いMLEを上回り、密度モデリング、歪み検出、負の重みや複素数の重みを用いたクラスタリングへの応用を可能にする。

ABSTRACT

Parametric density estimation, for example as Gaussian distribution, is the base of the field of statistics. Machine learning requires inexpensive estimation of much more complex densities, and the basic approach is relatively costly maximum likelihood estimation (MLE). There will be discussed inexpensive density estimation, for example literally fitting a polynomial (or Fourier series) to the sample, which coefficients are calculated by just averaging monomials (or sine/cosine) over the sample. Another discussed basic application is fitting distortion to some standard distribution like Gaussian - analogously to ICA, but additionally allowing to reconstruct the disturbed density. Finally, by using weighted average, it can be also applied for estimation of non-probabilistic densities, like modelling mass distribution, or for various clustering problems by using negative (or complex) weights: fitting a function which sign (or argument) determines clusters. The estimated parameters are approaching the optimal values with error dropping like $1/\sqrt{n}$, where $n$ is the sample size.

研究の動機と目的

• パラメトリック密度推定のための、最大尤度推定（MLE）に代わる計算効率の高い代替手法の開発。
• 反復的最適化を回避するため、基底関数の標本平均を用いた直接的かつ線形な密度パラメータ計算の実現。
• 標準分布（例：正規分布や一様分布）からの歪みをモデル化するための拡張。独立成分分析（ICA）に類似するが、再構成能力を有する。
• フィッティングプロセスにおいて負の重みや複素数の重みを用いることで、非確率的密度推定およびクラスタリングを可能にする。
• 直交関数基底を用いた、局所的およびグローバルな密度近似の一般枠組みの提供

提案手法

• 直交基底関数（例：単項式、エルミート多項式、フーリエ多項式など）の標本平均を計算することで密度パラメータを推定し、$L^2$ 空間における射影とみなす。
• カーネル幅がゼロに近づくカーネル密度推定（KDE）の極限（ディラックデルタ）を用い、カーネル幅選択を回避する二乗平均フィッティングに還元する。
• 基底関数の直交性を活用してパラメータ推定を分離し、各係数を独立に標本平均として計算可能にする。
• 標準密度（例：正規分布）からの歪みを、基本密度に直交する関数をフィッティングすることでモデル化し、係数は標本平均から導出する。
• データポイントに負または複素数の重みを割り当てることで、非確率的タスクへの拡張を図り、フィッティング関数の符号または偏角を用いてクラスタ境界を定義する。
• 局所的重みまたは局所化された重みを用いたフィッティング、境界スムージングを伴う区分的多項式フィッティングにより、局所的密度推定をサポートする。また、正の値および消失性を強制する関数族（例：指数関数的または有理関数）を検討する。

実験結果

リサーチクエスチョン

• RQ1 基底関数の標本平均を用いた線形で反復的でない計算により、計算コストの高いMLE最適化を回避してパラメトリック密度推定を達成できるか？
• RQ2 KDEのディラックデルタ極限における二乗平均フィッティングが、一貫性があり精度の高いパラメータ推定をもたらし、既知の収束レートを有するか？
• RQ3 この手法は、標準分布（例：正規分布）からの歪みを効果的にモデル化でき、歪んだ密度の完全な再構成が可能か？
• RQ4 負または複素数の重みを用いることで、クラスタリングに適応する方法は何か？
• RQ5 実世界のデータに応用する観点から、MLE や KDE に比べて、この手法の実用的利点（速度、精度、適用範囲）は何か？

主な発見

• 誤差は標本サイズ $n$ に対して $1/\sqrt{n}$ のレートで減少し、i.i.d.標本ではMLEの漸近的効率と一致する。
• パラメータ推定は、基底関数（例：単項式や三角関数）の標本平均の計算に帰着され、計算が軽量で並列処理が可能となる。
• 直交関数を標本にフィッティングすることで、一様分布や正規分布からの逸脱（歪み）を含む密度の再構成が可能となる。
• データポイントに負または複素数の重みを割り当て、フィッティング関数の符号または偏角を用いることで、非確率的密度推定およびクラスタリングが可能となる。
• 直交基底関数（例：エルミート多項式やルジャンドル多項式）により、係数の独立推定が可能となり、近似的にゼロに近い係数を除外することでモデルの簡略化が可能となる。
• 局所的フィッティング（局所化された重み、区分的多項式フィッティング＋スムージング）や、正の値および消失性を強制する代替関数族（例：指数関数的または有理関数）を用いることで、フレームワークが一般化可能となる。