[論文レビュー] Fast Algorithms and Efficient Statistics: Density Estimation in Large Astronomical Datasets

Andrew J. Connolly, Christopher R. Genovese+4 more|arXiv (Cornell University)|Aug 11, 2000

Bayesian Methods and Mixture Models参考文献 9被引用数 12

ひとこと要約

本論文は、多倍率KDツリーを用いてEMアルゴリズムを高速化したガウス・ミックスチャ・モデル（GMM）を用いた効率的な密度推定手法を提案する。この手法により、大規模な天文学的データセットに対する適応的・非パrametricな平滑化が可能となり、赤方偏移および色空間分布における凝集的・拡張的特徴を正確に回復するとともに、高赤方偏移QSOなどの外れ値を特定する。

ABSTRACT

In this paper, we outline the use of Mixture Models in density estimation of large astronomical databases. This method of density estimation has been known in Statistics for some time but has not been implemented because of the large computational cost. Herein, we detail an implementation of the Mixture Model density estimation based on multi-resolutional KD-trees which makes this statistical technique into a computationally tractable problem. We provide the theoretical and experimental background for using a mixture model of Gaussians based on the Expectation Maximization (EM) Algorithm. Applying these analyses to simulated data sets we show that the EM algorithm - using the AIC penalized likelihood to score the fit - out-performs the best kernel density estimate of the distribution while requiring no ``fine--tuning'' of the input algorithm parameters. We find that EM can accurately recover the underlying density distribution from point processes thus providing an efficient adaptive smoothing method for astronomical source catalogs. To demonstrate the general application of this statistic to astrophysical problems we consider two cases of density estimation: the clustering of galaxies in redshift space and the clustering of stars in color space. From these data we show that EM provides an adaptive smoothing of the distribution of galaxies in redshift space (describing accurately both the small and large-scale features within the data) and a means of identifying outliers in multi-dimensional color-color space (e.g. for the identification of high redshift QSOs). Automated tools such as those based on the EM algorithm will be needed in the analysis of the next generation of astronomical catalogs (2MASS, FIRST, PLANCK, SDSS) and ultimately in in the development of the National Virtual Observatory.

研究の動機と目的

• SDSS、2MASS、PLANCKなどの調査から得られる大規模かつ多次元の天文学的カタログを分析する課題に対処すること。
• スケールに応じて過剰平滑化または不十分平滑化を引き起こす固定帯域幅カーネル密度推定の限界を克服すること。
• 次世代バーチャルオブザーバトリのデータに適した計算効率的で適応的な密度推定手法を開発すること。
• 多次元色空間（例：高赤方偏移QSOを含む）における空間的過密領域および外れ値の堅牢な検出を可能にすること。

提案手法

• 本論文は、非パrametricな密度推定にため、期待値最大化（EM）アルゴリズムを用いたガウス・ミックスチャ・モデル（GMM）を採用する。
• EM計算を高速化するために、多倍率KDツリーというデータ構造が用いられ、実行時間を3桁以上短縮する。
• EMアルゴリズムは、後方確率（責任）τ_ijの繰り返し計算と、十分統計量を用いたパラメータ（重み、平均、共分散）の更新を繰り返す。
• 過学習を回避するため、最適な成分数の選定にAICを用いたペナルティ付き対数尤度が使用される。
• 異なる共分散行列を各成分に許容することで、局所的な密度構造を適応的にモデル化し、データ全体にわたる解像度の変化を可能にする。
• 本手法は赤方偏移空間におけるガラクシークラスタリングおよび外れ値検出のための多次元色-色空間に適用される。

実験結果

リサーチクエスチョン

• RQ1 適応的密度推定手法は、固定帯域幅カーネル密度推定を上回り、天文学的データにおける大規模構造および小規模構造を両方とも捉えることができるか？
• RQ2 AICに基づくモデル選択を用いたEMアルゴリズムは、高次元空間における点過程から真の密度を信頼性高く回復できるか？
• RQ3 GMMと多倍率KDツリーの組み合わせにより、10^8点以上のデータセットに対しても密度推定が計算的に実行可能になるか？
• RQ4 本手法は、色-色図におけるレアオブジェクト（例：高赤方偏移QSO）を効果的に同定できるか？

主な発見

• AICに基づくモデル選択を用いたEMアルゴリズムは、平滑化パラメータの手動チューニングを必要とせず、真の密度を固定帯域幅カーネル密度推定の最良結果を上回って回復した。
• 本手法は、赤方偏移空間におけるガラクシークラスタリングにおいて、大規模構造と小規模特徴の両方を的確に捉え、複数スケールにわたる適応的平滑化を示した。
• 多次元色-色空間における外れ値（例：高赤方偏移QSO）を、周囲の高密度クラスタに囲まれた低密度領域として正確に同定した。
• 多倍率KDツリーの使用により、EMの計算コストが3桁以上削減され、大規模な密度推定が現実可能となった。
• ペナルティ付き尤度（AIC）は、高次元設定における過学習を防ぐために、混合成分数の選定に堅牢な基準を提供した。