[論文レビュー] Graphical Test for Discrete Uniformity and its Applications in Goodness of Fit Evaluation and Multiple Sample Comparison

Teemu Säilynoja, Paul‐Christian Bürkner+1 more|arXiv (Cornell University)|Mar 18, 2021

Statistical Methods and Bayesian Inference参考文献 7被引用数 6

ひとこと要約

本稿では、確率積分変換（PIT）値の経験的累積分布関数（ECDF）に同時信頼帯を用いた、離散一様性に対する新しい図的検定を提案する。シミュレーションと最適化に基づく手法を組み合わせることで、妥当な適合度評価と複数の標本比較が可能となり、特にMCMC収束診断やシミュレーションベースの補正に有用である。単一の診断統計量を超えて、分布のずれに関する視覚的および定量的洞察を提供する。

ABSTRACT

Assessing goodness of fit to a given distribution plays an important role in computational statistics. The Probability integral transformation (PIT) can be used to convert the question of whether a given sample originates from a reference distribution into a problem of testing for uniformity. We present new simulation and optimization based methods to obtain simultaneous confidence bands for the whole empirical cumulative distribution function (ECDF) of the PIT values under the assumption of uniformity. Simultaneous confidence bands correspond to such confidence intervals at each point that jointly satisfy a desired coverage. These methods can also be applied in cases where the reference distribution is represented only by a finite sample. The confidence bands provide an intuitive ECDF-based graphical test for uniformity, which also provides useful information on the quality of the discrepancy. We further extend the simulation and optimization methods to determine simultaneous confidence bands for testing whether multiple samples come from the same underlying distribution. This multiple sample comparison test is especially useful in Markov chain Monte Carlo convergence diagnostics. We provide numerical experiments to assess the properties of the tests using both simulated and real world data and give recommendations on their practical application in computational statistics workflows.

研究の動機と目的

• 分布のずれに関する視覚的および統計的洞察を提供する、ECDFに基づく図的離散一様性検定の開発。
• 参照分布が有限標本でのみ既知であるような状況への一様性検定の拡張により、シミュレーションベースの補正を可能にする。
• 一様性の帰無仮説下でのPIT値のECDFに、点ごとの信頼区間よりも優れた同時信頼帯を提供する。
• 複数標本比較への拡張により、マルチチェーンMCMCワークフローにおける診断を支援する。
• ベイズ統計ワークフローにおけるモデル適合度とサンプリング効率の評価に実用的かつ計算効率の良いツールを提供する。

提案手法

• 適合度検定をPITを用いて変換された値の上での一様性検定に変換する。
• シミュレーションベースの手法を用いて、帰無仮説下での離散PIT値のECDFに同時信頼帯を計算する。
• 大標本に対しては最適化に基づく補正を適用し、タイトで効率的な信頼帯を計算する。
• チェーンやグループ間の結合信頼帯を構築することで、複数標本へのフレームワークの拡張を行う。
• 事前に計算された補正パラメータの対数-対数補間を用いて、異なる標本サイズでの計算を高速化する。
• シミュレーテッドおよび実世界のデータ（階層モデルやMCMC収束診断含む）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 離散一様性の下で、PIT値のECDFに効率的に同時信頼帯を計算する方法は何か？
• RQ2 提案された図的検定は、分布のずれを検出する点ごとの信頼区間と比較して、どのような点で優れているか？
• RQ3 本手法は、マルチチェーンMCMC診断のような複数の標本を比較する状況に、どのように適合させられるか？
• RQ4 本手法は、階層モデルにおけるサンプリング非効率性の検出において、どのような性能を示すか？
• RQ5 本手法は、収束問題を特定する際、既存の診断統計量（例：$τ$-hat）と比較してどのように異なるか？

主な発見

• 最適化に基づく手法により、大標本に対して効率的かつ正確な同時信頼帯が得られ、シミュレーションベースの代替手法よりも高速に動作する。
• 複数標本比較においては、特にチェーン数が中程度のとき、シミュレーションベースの手法がより計算効率が良い。
• 8つの学校のモデルでは、グラフィカル検定が$τ$-hat単体では検出できなかった中心化パrameterizationにおけるサンプリング問題を検出できた。特にチェーン3に混合が悪い兆候が確認された。
• 非中心化形式への再パラメータ化後、ECDF差分プロットとランクプロットの両方が、すべてのチェーンが95％同時信頼帯内にあることを示し、混合の改善を確認した。
• 非中心化モデルでは、バルク-ESSとテイル-ESSがそれぞれ2200および1600に向上し、図的診断と整合的であった。
• 本手法により、有限標本の予測分布下ではLOO-PIT値が正確に一様でないことが特定され、LOO-PITが有限データに対しては限界を有することを示した。