[論文レビュー] General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications

Abhik Ghosh, Majumder, Tuhin+1 more|arXiv (Cornell University)|Aug 31, 2017

Advanced Statistical Methods and Models参考文献 61被引用数 4

ひとこと要約

本稿では、密度パワー発散（DPD）を用いた一般化されたロバストなベイズ疑似事後分布を導入し、モデル不適合およびデータ汚染下でも指数的収束を達成する。線形回帰やロジスティック回帰を含むパラメトリックモデルへのロバストベイズ推論の拡張を理論的保証とともに実現し、事後分布計算のためのMCMC実装を提供する。

ABSTRACT

Although Bayesian inference is an immensely popular paradigm among a large segment of scientists including statisticians, most applications consider objective priors and need critical investigations (Efron, 2013, Science). While it has several optimal properties, a major drawback of Bayesian inference is the lack of robustness against data contamination and model misspecification, which becomes pernicious in the use of objective priors. This paper presents the general formulation of a Bayes pseudo-posterior distribution yielding robust inference. Exponential convergence results related to the new pseudo-posterior and the corresponding Bayes estimators are established under the general parametric set-up and illustrations are provided for the independent stationary as well as non-homogeneous models. Several additional details and properties of the procedure are described, including the estimation under fixed-design regression models.

研究の動機と目的

• 標準ベイズ推論がモデル不適合およびデータ汚染下で非ロバストである問題に対処すること。特に、オブジェクティブな事前分布を用いる場合に有効であるようにすること。
• モデルが誤りであるか、外れ値が含まれる状況でも望ましい漸近的性質を保つ一般化されたロバストベイズ推論のフレームワークを構築すること。
• 一般パラメトリックモデル下で、提案された疑似事後分布および関連推定量の指数的収束レートを確立すること。
• 固定設計回帰モデル、特に線形回帰およびロジスティック回帰へのロバスト推論フレームワークの拡張すること。
• 事後分布サンプリングおよびロバスト事後期待値の推定のため、計算的に実行可能なメトロポリス・ハスティングスMCMCによる実装を提供すること。

提案手法

• チューニングパrameter α を用いた密度パワー発散（DPD）に基づく一般化されたロバストベイズ疑似事後分布を提案し、ベイズの定理における尤度関数を置き換える。
• α尤度関数を、外れ値の重みを低減させ、モデルのずれに対してロバストである損失関数として定義する。
• DPDに基づく損失関数と事前分布を組み合わせ、ロバストな事後分布のカーネルを形成し、頻度主義的ロバスト性の原則に従った推定を可能にする。
• i.i.d.および非定常設定の両方において、正則性条件の下で疑似事後分布および関連推定量の指数的収束レートを導出する。
• 正規事前分布を回帰係数に用いて、固定設計線形回帰およびロジスティック回帰モデルにこの手法を適用する。
• バーンインおよび収束診断を含む、適応的提案分布を用いたメトロポリス・ハスティングスMCMCによる事後分布計算を実装する。

実験結果

リサーチクエスチョン

• RQ1 モデル不適合およびデータ汚染下でも指数的収束を維持できる一般化されたロバストベイズ疑似事後分布を定式化できるか？
• RQ2 特にオブジェクティブな事前分布を用いる場合に、提案された疑似事後分布はパラメトリックモデルにおいてロバスト性と収束性をどのように果たすか？
• RQ3 独立かつstationary（定常）でないモデル下で、疑似事後分布およびその推定量の理論的収束レートは何か？
• RQ4 ロジスティック回帰のような高次元または複雑な回帰モデルにおいて、ロバスト事後分布をどのように効率的に計算できるか？
• RQ5 この手法は、頻度主義的ロバスト性を保ちながら、ベイズ的解釈可能性および最適漸近的性質をどの程度維持できるか？

主な発見

• 提案されたロバストベイズ疑似事後分布は、一般パラメトリックモデル下で、事後分布および関連推定量の両方において指数的収束レートを達成する。
• モデル不適合およびデータ汚染下でも、特にオブジェクティブな事前分布を用いる場合に、ロバストな推論を提供する。
• 線形回帰およびロジスティック回帰モデルにおいて、標準ベイズ手法と比較して外れ値への感受性が低く安定した推定値が得られる。
• バーンイン期間（例：25,000イテレーション）を経て収束が観察された、メトロポリス・ハスティングスMCMCによるロバスト事後分布からのサンプリングが成功した。
• 実証的結果から、R^α-事後分布からの推定事後平均（ERPE）および分散は、さまざまなα値に対して安定的かつ適切にキャリブレーションされている。
• チューニングパrameter α はロバスト性を制御する：小さい値（例：α = 0.5）では汚染に対してより高いロバスト性を示し、大きな値では標準尤度に基づく推論に近づく。