[論文レビュー] Accounting for sample selection in Bayesian analyses

S. R. Hinton, Alex Kim+1 more|arXiv (Cornell University)|Jun 12, 2017

Statistical Methods and Bayesian Inference参考文献 2被引用数 4

ひとこと要約

本論文は、解析的近似とモンテカルロ統合を用いて選択効率を尤度関数に統合することで、統計的解析におけるサンプル選択バイアスを補正するベイジアンフレームワークを提示する。歪んだまたは切断されたデータ—例として超新星宇宙論におけるもの—を扱う場合に、シミュレートされた選択確率に基づいて観測データを再重み付けすることで、完全な解析的解が不要な状況でも、正確な推論を可能にする。これは、パラメータ推定の精度を著しく向上させる。

ABSTRACT

Astronomers are often confronted with funky populations and distributions of objects: brighter objects are more likely to be detected; targets are selected based on colour cuts; imperfect classification yields impure samples. Failing to account for these effects leads to biased analyses. In this paper we present a simple overview of a Bayesian consideration of sample selection, giving solutions to both analytically tractable and intractable models. This is accomplished via a combination of analytic approximations and Monte Carlo integration, in which dataset simulation is efficiently used to correct for issues in the observed dataset. This methodology is also applicable for data truncation, such as requiring densities to be strictly positive. Toy models are included for demonstration, along with discussions of numerical considerations and how to optimise for implementation. We provide sample code to demonstrate the techniques. The methods in this paper should be widely applicable in fields beyond astronomy, wherever sample selection effects occur.

研究の動機と目的

• 検出閾値や観測カットといった、パラメータ推定を歪める一般的なサンプル選択バイアスを是正すること。
• 選択効果が観測データセットを歪める場合に、尤度を補正する実用的で一般化可能なベイジアン手法を開発すること。
• 解析的に解けない選択モデルに対して、解析的近似とモンテカルロ統合を組み合わせた計算効率の良いフレームワークを提供すること。
• 玩具モデルと実世界のシナリオ（超新星宇宙論や切断データを含む）におけるこの手法の有効性を示すこと。
• 再現可能性と広範な分野への採用を促進するため、オープンソースコードを提供すること。

提案手法

• データと選択の同時確率から導出される選択確率 $ P(S|\text{data}, \theta) $ を組み込んだ補正された尤度を定式化する。
• ベイズの定理を用いて尤度を $ \mathcal{L} = \frac{P(S|\text{data}, \theta) P(\text{data}|\theta)}{P(S|\theta)} $ に再定式化する。分母は、すべての可能なデータの積分であり、解析的に解けない。
• モンテカルロ統合を用いて、提案分布 $ P(D|\theta_{\text{approx}}) $ からサンプル $ D_i $ を抽出し、$ \frac{P(S|D_i)}{P(D_i|\theta_{\text{approx}})} $ を用いて再重み付けすることで、解析的に解けない分母を近似する。
• MCMCの実行中に選択確率の再計算を避けるために、事前に計算された重みを用いることで、計算コストを著しく削減する。
• 観測数の累乗をとる際の数値安定性を保つために、対数空間での計算を採用する。
• 尤度の推定精度を最適化するために、$ \log(\mathcal{L}_2) $ の分散を最小化する。これにより、事後分布推定の頑健性が向上する。

実験結果

リサーチクエスチョン

• RQ1 検出閾値や色カットといった選択効果によって、観測データが系的にバイアスを受ける場合、どのようにベイジアン推論を補正できるか？
• RQ2 選択効果が解析的統合を不可能にするモデルにおいて、尤度を効率的かつ正確に計算する方法は何か？
• RQ3 モンテカルロ統合と解析的近似をどのように組み合わせ、計算コストが著しく増大しないようにして選択バイアスを補正できるか？
• RQ4 高次元または切断されたパrameter空間において、尤度補正を実装するにあたり、数値的最良実践は何か？
• RQ5 MCMCサンプリングにおける計算オーバーヘッドを最小限に抑えながら、補正の精度を最大化するにはどうすればよいか？

主な発見

• この手法は、解析的に解けるモデルと解けないモデルの両方において、サンプル選択バイアスを効果的に補正でき、ナイーブな推論に比べて事後分布の精度が著しく向上した。
• 事前に計算された重みを用いたモンテカルロ統合により、MCMCの実行中に選択確率の繰り返し評価を回避し、計算コストを大幅に削減できた。
• 提案分布の分散（$ \sigma_{\text{approx}} $）を過小に見積もるよりも、過大に見積もることが安全であり、パラメータ空間の十分なカバーが保証される。
• 再重み付けによる $ \frac{P(S|D_i)}{P(D_i|\theta_{\text{approx}})} $ の利用により、パラメータサンプルごとに選択効率を再計算しなくても、効率的な尤度評価が可能になった。
• 対数空間での計算により、観測数の累乗をとる際の数値安定性が確保され、特にそのような状況で有効である。
• この手法は天文学を越えて、切断または右側打ち切りデータを含む生物学的・物理学的分野にも広く適用可能である。