[논문 리뷰] Fast Algorithms and Efficient Statistics: Density Estimation in Large Astronomical Datasets

Andrew J. Connolly, Christopher R. Genovese외 4명|arXiv (Cornell University)|2000. 08. 11.

Bayesian Methods and Mixture Models참고 문헌 9인용 수 12

한 줄 요약

이 논문은 다중해상도 KD-트리로 가속화된 기대값최대화(EM) 알고리즘을 사용하는 가우시안 혼합모형(GMM)을 활용한 효율적인 밀도 추정 방법을 제안한다. 이는 대규모 천문학적 데이터셋에 대해 적응형 비모수적 스무딩을 가능하게 하며, 적응형으로 국소 데이터 구조에 맞추어 조정된다. 이 방법은 고정된 밴드폭 커널 밀도 추정보다 우수하며, 적외성 적색편이 및 색공간 분포에서 밀집 및 확장된 특징을 정확히 복원하고, 고적색편이 QSO와 같은 이방성 물체를 식별할 수 있다.

ABSTRACT

In this paper, we outline the use of Mixture Models in density estimation of large astronomical databases. This method of density estimation has been known in Statistics for some time but has not been implemented because of the large computational cost. Herein, we detail an implementation of the Mixture Model density estimation based on multi-resolutional KD-trees which makes this statistical technique into a computationally tractable problem. We provide the theoretical and experimental background for using a mixture model of Gaussians based on the Expectation Maximization (EM) Algorithm. Applying these analyses to simulated data sets we show that the EM algorithm - using the AIC penalized likelihood to score the fit - out-performs the best kernel density estimate of the distribution while requiring no ``fine--tuning'' of the input algorithm parameters. We find that EM can accurately recover the underlying density distribution from point processes thus providing an efficient adaptive smoothing method for astronomical source catalogs. To demonstrate the general application of this statistic to astrophysical problems we consider two cases of density estimation: the clustering of galaxies in redshift space and the clustering of stars in color space. From these data we show that EM provides an adaptive smoothing of the distribution of galaxies in redshift space (describing accurately both the small and large-scale features within the data) and a means of identifying outliers in multi-dimensional color-color space (e.g. for the identification of high redshift QSOs). Automated tools such as those based on the EM algorithm will be needed in the analysis of the next generation of astronomical catalogs (2MASS, FIRST, PLANCK, SDSS) and ultimately in in the development of the National Virtual Observatory.

연구 동기 및 목표

• SDSS, 2MASS, PLANCK와 같은 설문에서 유래한 대규모 다차원 천문학적 카탈로그를 분석하는 데 도전하는 것.
• 밴드폭이 고정된 커널 밀도 추정의 한계를 극복하여 척도에 따라 과도하게 스무딩되거나 스무딩이 부족한 특징을 방지하는 것.
• 차세대 가상 천문대 데이터에 적합한 계산적으로 효율적인 적응형 밀도 추정 방법을 개발하는 것.
• 다차원 색공간에서 공간적 과밀구역 및 이방성 물체(예: 고적색편이 QSO)를 견고하게 탐지하는 것.

제안 방법

• 논문은 비모수적 밀도 추정을 위해 기대값최대화(EM) 알고리즘을 사용하는 가우시안 혼합모형(GMM)을 적용한다.
• EM 계산을 가속화하기 위해 다중해상도 KD-트리 데이터 구조를 사용하여 런타임을 3개 이상의 지수만큼 감소시킨다.
• EM 알고리즘은 후행 확률(책임도) τ_ij를 반복적으로 계산하고 충분통계량을 통해 매개변수(가중치, 평균, 공분산)를 업데이트한다.
• 과적합을 방지하기 위해 최적의 성분 수를 선택하기 위해 AIC를 사용한 페널티 부여된 로그우도를 사용한다.
• 각 성분에 대해 다른 공분산 행렬을 允허함으로써 국소 밀도 구조를 적응적으로 모델링하고 데이터 전반에 걸쳐 해상도 변화를 가능하게 한다.
• 이 알고리즘은 적외성 공간의 은하 군집과 이방성 물체 탐지에 적합한 다차원 색-색 공간에 적용된다.

실험 결과

연구 질문

• RQ1 적응형 밀도 추정 방법이 고정된 밴드폭 커널 밀도 추정보다 천문학적 데이터에서 대규모 및 소규모 구조를 더 잘 포착할 수 있는가?
• RQ2 AIC 기반 모델 선택을 사용한 EM 알고리즘이 고차원 공간의 점과정에서 진정한 밀도를 신뢰성 있게 복원할 수 있는가?
• RQ3 GMM과 다중해상도 KD-트리를 조합하면 10^8개 이상의 점을 포함하는 데이터셋에 대해 밀도 추정을 계산적으로 실현 가능하게 할 수 있는가?
• RQ4 이 방법은 색-색도에서 희귀 물체인 고적색편이 QSO를 효과적으로 식별할 수 있는가?

주요 결과

• AIC 기반 모델 선택을 사용한 EM 알고리즘이 최적의 고정 밴드폭 커널 밀도 추정보다 진정한 밀도를 더 잘 복원했으며, 스무딩 매개변수의 수동 조정이 필요로 하지 않았다.
• 이 방법은 적응형 스무딩을 통해 적외성 공간의 은하 군집에서 대규모 구조와 소규모 특징을 성공적으로 포착했다.
• 이 알고리즘은 다차원 색-색 공간에서 낮은 밀도 영역이 높은 밀도 군집에 둘러싸여 있는 경우를 탐지함으로써 이방성 물체(예: 고적색편이 QSO)를 정확하게 식별했다.
• 다중해상도 KD-트리의 사용으로 EM의 계산 비용이 3개 이상의 지수만큼 감소하여 대규모 밀도 추정이 실현 가능해졌다.
• 페널티 부여된 우도(AIC)는 고차원 환경에서 과적합을 방지하기 위해 혼합 성분의 수를 선택하는 데 신뢰할 수 있는 기준을 제공했다.