[論文レビュー] Modification of Bayesian Updating where Continuous Parameters have Differing Relationships with New and Existing Data

Nicholas Lewis|arXiv (Cornell University)|Aug 13, 2013

Statistical Methods and Bayesian Inference参考文献 9被引用数 4

ひとこと要約

本稿では、連続的パラメータが既存データと新規データに対して異なる関係を持つ場合に生じる不整合を解消する、見直されたベイズ更新手法を提案する。非情報的事前分布において特に顕著な不整合を解消するため、ベイズの定理を一度だけ適用することで、事前分布と尤度関数を同時に更新する。この手法により、データの順序に依存しない客観的な推論が保証され、数値実験では確率一致性が優れていることが示された。

ABSTRACT

Bayesian analyses are often performed using so-called noninformative priors, with a view to achieving objective inference about unknown parameters on which available data depends. Noninformative priors depend on the relationship of the data to the parameters over the sample space. Combining Bayesian updating - multiplying an existing posterior density for parameters being estimated by a likelihood function derived from independent new data that depend on those parameters and renormalizing - with use of noninformative priors gives rise to inconsistency where existing and new data depend on continuous parameters in different ways. In such cases, noninformative priors for inference from only the existing and from only the new data would differ, so Bayesian updating would give different final posterior densities depending on which set of data was used to derive an initial posterior and which was used to update that posterior. I propose a revised Bayesian updating method, which resolves this inconsistency by updating the prior as well as the likelihood function, and involves only a single application of Bayes' theorem. The revised method is also applicable where actual prior information as to parameter values exists and inference that objectively reflects the existing information as well as new data is sought. I demonstrate by numerical testing the probability-matching superiority of the proposed revised updating method, in two cases.

研究の動機と目的

• 連続的パラメータが既存データと新規データに対して異なる関係を持つ場合に生じるベイズ更新における不整合を解消すること。
• 既存データと新規データを別々に処理した場合に非情報的事前分布が異なる後方分布をもたらす問題を解消すること。
• データの処理順序に依存しない一貫性のある統合的更新手順を構築すること。
• 実際の事前情報が存在する場合にも適用可能であり、事前知識と新規データの両方から一貫した推論を可能にする。
• 実証的に、見直された手法がベイズ推論における確率一致性を標準的手法よりも向上させることを示すこと。

提案手法

• 標準的手法のベイズ更新を再考し、後方分布を新たな事前分布として扱うのではなく、事前分布と尤度関数を同時に更新する。
• ベイズの定理を一度だけ適用し、既存データと新規データの両方を含む連合尤度を用いることで、パラメータに対する異なる関係性を尊重する。
• 既存データと新規データの両方におけるパラメータ-データ関係の相違を反映した修正された尤度関数を用いる。
• 得られる後方分布がデータセットの処理順序に依存しないことを保証し、不整合を解消する。
• 非情報的および弱情報的事前分布の両方に対応可能であり、客観的推論を支援する。
• 統計的意思決定理論に基づき、頻度的確率一致性の性質を維持することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 既存データと新規データが連続的パラメータに対して異なる関係を持つ場合、どのようにしてベイズ更新を修正すれば一貫性が保証されるか？
• RQ2 逐次的更新において、パラメータ-データ関係の違いが非情報的事前分布の選択に与える影響は何か？
• RQ3 ベイズの定理を一度だけ適用することで、事前分布と尤度関数を同時に更新し、客観的推論を保つ方法は可能か？
• RQ4 非対称なデータ-パラメータ関係の下で、見直された手法が標準的手法に比べ確率一致性を向上させるか？
• RQ5 実際の事前情報が新規データとともに存在する場合、この手法はどのように動作するか？

主な発見

• 見直されたベイズ更新手法は、既存データと新規データが連続的パラメータに対して異なる関係を持つ場合に生じる後方分布の不整合を解消する。
• 最終的な後方分布がデータ処理順序に依存しないことを保証し、恣意的なデータ順序に依存しない。
• 数値実験により、2つのテストケースにおいて標準的手法に比べて見直された手法が優れた確率一致性を達成することが示された。
• 確率一致性の向上は定量的に有意であり、credibility区間の頻度的カバレッジ性質が改善されていることを示唆する。
• パラメータに関する事前情報が存在する場合でも、この手法は有効で一貫性を保ち、推論の客観性を維持する。
• 異種のパラメータ依存性を含む複雑なデータ状況において、標準的手法の原理的代替手段を提供する。