[論文レビュー] Scaling the Gibbs posterior credible regions

Nicholas Syring, Ryan R. Martin|arXiv (Cornell University)|Sep 3, 2015

Statistical Methods and Inference参考文献 33被引用数 13

ひとこと要約

本稿では、損失に基づく推論におけるギブス事後分布のスケーリングパラメータを適応的に補正するためのギブス事後スケーリング（GPS）アルゴリズムを提案する。これにより、正確で効率的な信用区間が保証される。分位数回帰において、スケーリングを正確な補正が得られるように最適化することで、GPSは、他のベイズ的類似手法よりも良好に補正され、より効率的な信用区間を生成する。

ABSTRACT

In some applications, the relationship between the observable data and unknown parameters is described via a loss function rather than likelihood. In such cases, the standard Bayesian methodology cannot be used, but a Gibbs posterior distribution can be constructed by appropriately using the loss in place of a likelihood. Although misspecified by definition, Gibbs posteriors have a number of desirable properties; for example, we show that the Gibbs posterior converges at the same rate as the corresponding M-estimator. Inference based on the Gibbs posterior is not straight- forward, however, because the finite-sample performance is highly sensitive to the scale of the loss function. To meet this challenge, we propose a Gibbs Posterior Scaling (GPS) algorithm that adaptively selects the scaling in order to calibrate the corresponding Gibbs posterior credible regions. In the important quantile regres- sion problem, we show numerically that our Gibbs posterior credible intervals, with scale selected by the GPS algorithm, are exactly calibrated and are more efficient than those obtained via other Bayesian-like methods.

研究の動機と目的

• 損失関数のスケールが不明または誤って指定されている場合の、有限標本におけるギブス事後分布推論の補正の課題に対処すること。
• 信頼できる信用区間を保証するために、ギブス事後分布のスケーリングパラメータを適応的に選択する手法を開発すること。
• 尤度に基づく手法が不適切な分位数回帰という重要な応用分野において、信用区間の効率性と補正性を向上させること。
• M-推定量の性能を模倣しつつもベイズ的解釈性を保持する、実用的でデータ駆動型のギブス事後分布のスケーリング手法を提供すること。

提案手法

• GPSアルゴリズムは、経験的カバレッジが名目上のカバレッジと一致するように保証する基準を最小化することで、ギブス事後分布のスケーリングパラメータを適応的に選択する。
• 尤度の代わりに損失関数を用いてギブス事後分布を定義し、スケーリングパラメータを最適化すべき調整変数として扱う。
• 複数のデータ分割における信用区間のカバレッジ性能を評価する類似交差検証手順を用いてスケーリングを決定する。
• このアプローチは頻度的補正の原則に基づいており、有限標本において意図したカバレッジ確率を持つ信用区間が得られることを保証する。
• 分位数回帰に応用したところ、GPSは他のベイズ的類似手法よりも補正性と効率性の両面で優れている。

実験結果

リサーチクエスチョン

• RQ1 損失関数のスケールが不明または誤って指定されている場合、有限標本におけるギブス事後分布の信用区間をどのように補正できるか？
• RQ2 適応的スケーリング手順は、実際の応用においてギブス事後分布の信用区間のカバレッジ正確性を向上させることができるか？
• RQ3 GPSで計算された信用区間の性能は、他のベイズ的類似手法と比較して、分位数回帰においてどのように異なるか？
• RQ4 損失に基づく推論において、GPSアルゴリズムは、元のM-推定量と同等の収束速度を維持するか？
• RQ5 完全な尤度モデル化を必要とせずに、正確な補正が保証されるようにスケーリングパラメータを選択可能か？

主な発見

• GPSアルゴリズムは、分位数回帰において、名目上のカバレッジ水準と正確に一致するギブス事後分布の信用区間を効果的に生成した。
• 区間幅の観点から測定したところ、GPSで得られた信用区間は、他のベイズ的類似手法よりもより効率的であった。
• GPS下でのギブス事後分布は、対応するM-推定量と同等の速度で収束し、頻度的最適性を保った。
• 損失関数のスケールの誤指定に対してもロバストであるため、スケーリングが不明な実世界の応用に適している。
• 数値結果により、GPSは補正性と効率性の両方を向上させ、分位数回帰設定において既存の代替手法を上回ることが示された。