[論文レビュー] Learning an Astronomical Catalog of the Visible Universe through Scalable Bayesian Inference

Jeffrey Regier, Kiran Pamnany+5 more|arXiv (Cornell University)|Nov 10, 2016

Gaussian Processes and Bayesian Inference参考文献 12被引用数 7

ひとこと要約

本論文は、Juliaを用いた変分ベイズ推論を用いて、Celeste天体カタログ推定システムのスケーラブルで並列化された実装を提示する。これにより、大規模データセット全体にわたり高い精度のカタログ生成と不確実性の定量が可能となり、最大8192コアで強力なスケーリングを示し、これまでで最大のカタログを、現実的な統計モデルに基づく整合性のある不確実性推定とともに生成した。

ABSTRACT

Celeste is a procedure for inferring astronomical catalogs that attains state-of-the-art scientific results. To date, Celeste has been scaled to at most hundreds of megabytes of astronomical images: Bayesian posterior inference is notoriously demanding computationally. In this paper, we report on a scalable, parallel version of Celeste, suitable for learning catalogs from modern large-scale astronomical datasets. Our algorithmic innovations include a fast numerical optimization routine for Bayesian posterior inference and a statistically efficient scheme for decomposing astronomical optimization problems into subproblems. Our scalable implementation is written entirely in Julia, a new high-level dynamic programming language designed for scientific and numerical computing. We use Julia's high-level constructs for shared and distributed memory parallelism, and demonstrate effective load balancing and efficient scaling on up to 8192 Xeon cores on the NERSC Cori supercomputer.

研究の動機と目的

• 大規模天体画像解析における正確なベイズ後確率分布推定の計算的非実行可能性に対処すること。
• LSST や SDSS などの大規模天体データセットから、高精度で不確実性を考慮したカタログ生成を可能にすること。
• 現代のHPCシステム上で統計的効率性と計算パフォーマンスを維持しながら、Celesteのスケーラブルで並列化された実装を開発すること。
• 高水準なJuliaを用いた実世界の大規模データ分析における高性能科学計算への適用可能性を示すこと。
• アルゴリズム的革新と効率的な並列化を組み合わせることで、ベイズ推論を小規模データセットを超えて拡張すること。

提案手法

• 計算的に効率的な方法で、実行不可能な後確率分布を近似するため、変分推論を採用すること。
• グローバル最適化問題を分散ノードにまたがる部分問題に分割する統計的に効率的な分解方式を設計すること。
• 効率的な後確率近似のため、2次微分に基づく決定論的最適化手法を用いた高速数値最適化ルーチンを実装すること。
• 共有メモリおよび分散メモリ並列処理をネイティブにサポートするJuliaの特徴を活用し、効果的な負荷分散と強力なスケーリングを実現すること。
• NERSC CoriなどのHPCクラスタで使用可能な、複数ノード・分散メモリ並列処理を支援するJuliaパッケージを開発・最適化すること。
• 潜在変数（例：光源位置、輝度、形状）をモデル化するための因数分解された変分分布を用い、不確実性の定量を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 LSSTなどの大規模天体データセットに対して、統計的精度を損なわずにベイズ後確率推定をスケーリングすることは可能か？
• RQ2 アルゴリズム的分解と最適化により、ベイズ推定の計算負荷をどのように低減できるか？
• RQ3 高水準プログラミング言語（Juliaなど）が、複雑な科学的ワークロードにおいてHPCレベルのパフォーマンスを達成できるか、その程度はどの程度か？
• RQ4 数百万の光源にわたり、現実的な統計モデルに基づく不確実性推定をスケールで信頼性高く計算できるか？
• RQ5 並列化されたCeleste実装のパフォーマンスは、計算リソースとデータサイズの増加に伴い、どのようにスケーリングするか？

主な発見

• スケーラブルなCeleste実装は、NERSC Coriスパコンの最大8192コアのXeonコアで、強力なスケーリングと弱いスケーリングを達成した。
• SDSSのサブセットに対する新しいカタログは、以前の手法と比較して、光源位置、色、銀河の非円形度、角度のパラメータ推定が向上した。
• 得られたカタログは、データの現実的な統計モデルに基づく整合性のある不確実性推定を伴って、これまでで最大のものである。
• 本手法は、文献で報告された以前のものよりも大きなデータセットに対してベイズ推定をスケーリングし、小規模応用を超えた実用性を示した。
• Juliaの使用により、低水準HPC実装と同等のパフォーマンスを達成しつつ、効果的な高水準並列プログラミングが可能となった。
• 今後の研究では、すべての光源の共同最適化、自動的光源数推定、より表現力の高い後確率近似のための確率的最適化の検討を行う。