[論文レビュー] Diagnostic Tests for Nested Sampling Calculations

Edward Higson, Will Handley+2 more|arXiv (Cornell University)|Apr 16, 2018

Bayesian Methods and Mixture Models参考文献 18被引用数 3

ひとこと要約

本論文は、ベイズ推論におけるネストドサンプリングの信頼性を評価するための診断テストと可視化ツールを導入する。特に、複雑で多次元的、もしくは多次元モードを持つ事後分布に対して有効である。著者らは、二つの新しい診断プロットと、Pythonパッケージであるnestcheckを提案する。このツールは、MultiNestおよびPolyChordからの結果を検証し、正確なパrameter推定と証拠計算を保証する。

ABSTRACT

Nested sampling is an increasingly popular technique for Bayesian computation - in particular for multimodal, degenerate and high-dimensional problems. Without appropriate settings, however, nested sampling software may fail to explore such posteriors fully; for example producing correlated samples or missing significant modes. This paper introduces new diagnostic tests to assess the reliability of both parameter estimation and evidence calculations using nested sampling software, and demonstrates them empirically. We present two new diagnostic plots for nested sampling, and give practical advice for nested sampling software users. Our diagnostic tests and diagrams are implemented in nestcheck: a publicly available python package for analysing nested sampling calculations which is compatible with results from MultiNest and PolyChord.

研究の動機と目的

• ネストドサンプリングにおける不良な設定（例：相関のあるサンプル、モードの漏れ）に起因する信頼性の低い結果のリスクを軽減すること。
• パラメータ推定とベイズ証拠計算の両方の信頼性を評価するための実用的診断を提供すること。
• 特に困難な事後分布の幾何構造においても、ネストドサンプリングソフトウェアのユーザーが利用可能な、実行可能なツールを提供すること。
• 現代のベイズ計算で一般的に見られる高次元的、多次元的、もしくは退化した事後分布において、堅牢な性能を発揮すること。

提案手法

• ネストドサンプリングのチェインの挙動を可視化し、収束問題を検出するための二つの新しい診断プロットを導入する。
• MultiNestおよびPolyChordの出力を分析できる、nestcheckというPythonパッケージを開発し、ネストドサンプリング実行の後処理による検証を可能にする。
• 事前分布変換されたパラメータ空間における一様性のずれを検出する統計的検定を用い、サンプリング障害を示す。
• 複数回のネストドサンプリング実行における証拠推定値の一貫性を評価する診断チェックを適用する。
• 有効サンプルサイズとライブポイントの分布に関するチェックを実装し、サンプリング不足または過剰を検出する。
• 既存のネストドサンプリングソフトウェアパイプラインと互換性のある、ユーザーフレンドリーなフレームワークに診断ツールを統合する。

実験結果

リサーチクエスチョン

• RQ1 多次元的または高次元的な状況において、ネストドサンプリングが全事後分布を探索していない場合に、ユーザーがどのようにしてそれを検出できるか。
• RQ2 ネストドサンプリングにおける証拠とパラメータ推定の正確性を信頼性を持って評価できる診断ツールは何か。
• RQ3 再計算を一切行わずに、ネストドサンプリングの結果の信頼性を後処理でどのように検証できるか。
• RQ4 混合不良、モード抑制、または偏った証拠推定を示すために、どのような視覚的および統計的指標が有効か。
• RQ5 MultiNestやPolyChordのような異なるネストドサンプリング実装に、標準化された診断フレームワークを適用可能か。

主な発見

• nestcheckに組み込まれた診断プロットは、事後分布のすべての顕著なモードを探索していない場合に、的確に同定できる。
• 変換されたパラメータ空間における一様性に基づく統計的検定は、相関のあるサンプリングやライブポイントの進化不足といったサンプリング問題を検出できる。
• パラメータ空間における有効サンプルサイズやライブポイントの分布に関するチェックにより、サンプリング不足または過剰が信頼性高く特定され、証拠計算のバイアスの兆候が示される。
• nestcheckは、高次元的または退化した事後分布において、標準的な診断では検出できない収束問題を検出できる。
• 計算後に結果を検証することで、サンプリング品質に関する事前の仮定に依存せず、証拠とパラメータ推定の信頼性を高める。
• 診断ツールは、MultiNestやPolyChordを含む、さまざまなネストドサンプリング実装においても有効であり、広範な互換性と実用性を備えている。