[論文レビュー] Bayesian Brittleness: Why no Bayesian model is "good enough"

Houman Owhadi, Clint Scovel+1 more|arXiv (Cornell University)|Apr 24, 2013

Probabilistic and Robust Engineering Design参考文献 74被引用数 2

ひとこと要約

本稿は、ベイズ推論が極めて感受性が強いことを明らかにする。すなわち、真のデータ生成分布の任意の有限次元周辺分布と正確に一致するモデル、あるいはプロホロフ距離や全 Variation 距離において任意に近いモデルであっても、後方予測が任意に誤った結果をもたらす可能性がある。本研究では、最適不確実性評価（OUQ）フレームワークを用いて、タイトな境界を導出し、「十分に近い」モデルであっても最悪の後方結果をもたらす可能性があることを示している。

ABSTRACT

Although it is known that Bayesian estimators may fail to converge or may con-verge towards the wrong answer (i.e. be inconsistent) if the probability space is not finite or if the model is misspecified (i.e. the data-generating distribution does not belong to the family parametrized by the model), it is also a popular belief that a “good ” or “close ” enough model should have good convergence properties. This paper incorporates Bayesian priors into the Optimal Uncertainty Quantifica-tion (OUQ) framework [86] and in doing so reveals extreme brittleness in Bayesian inference. These brittleness results demonstrate that, contrary to popular belief, there is no such thing as a “close enough ” model in Bayesian inference in the follow-ing sense: we derive optimal lower and upper bounds on posterior values obtained from models that exactly capture an arbitrarily large (but finite) number of finite-dimensional marginals of the data-generating distribution and/or that are arbitrarily close to the data-generating distribution in the Prokhorov or total variation metrics; these bounds show that such models may still make the largest possible prediction

研究の動機と目的

• 『十分良い』または『十分近い』ベイズモデルであれば信頼できる推論が得られるとの一般的な信念に挑戦すること。
• 有限次元周辺分布を多く一致させたり、分布的距離尺度で真に近いモデルであっても、後方予測が頑健であるかどうかを調査すること。
• モデル不適合に関する最小限の仮定のもとで、ベイズ後方推定値の最悪誤差を定量化すること。
• モデル構造のわずかなずれや分布的近さのわずかなずれが、後方推論における任意に大きな誤差を引き起こす可能性があることを示すこと。

提案手法

• 最適不確実性評価（OUQ）フレームワークにベイズ事前分布を組み込み、最悪の後方行動を分析する。
• 真のデータ生成分布の有限次元周辺分布の大きなが有限個に正確に一致するモデルの集合に対して、後方値の最適な下限と上限を導出する。
• プロホロフ距離や全 Variation 距離において真の分布に任意に近いモデルを検討する。
• これらの制約下で、後方期待値の可能な限りタイトな境界を計算するために変分最適化技術を用いる。
• モデル空間におけるわずかな摂動に対する後方分布の感受性を分析する。
• これらの境界は標本サイズに依存せず、無限大のデータでも依然として極端なままであることを確立する。

実験結果

リサーチクエスチョン

• RQ1 真の分布の多くの有限次元周辺分布と一致するベイズモデルであっても、後方予測が任意に誤った結果をもたらす可能性があるか？
• RQ2 プロホロフ距離や全 Variation 距離において真の分布に近いモデルの場合、後方の頑健性はどのように劣化するか？
• RQ3 ベイズ推論が信頼できるようになるモデルの近さの閾値は存在するか、それとも感受性は無関係に持続するか？
• RQ4 周辺分布を一致させるか、分布的距離尺度で近いモデルに制約を課した場合、後方値のタイトな境界は何か？
• RQ5 無限大の標本サイズであっても、最悪の後方誤差は標本サイズに依存せずに定量化可能か？

主な発見

• 真のデータ生成分布の任意に大きなが有限個の有限次元周辺分布と正確に一致するモデルであっても、後方値が真の値から任意に離れている可能性がある。
• プロホロフ距離や全 Variation 距離において真の分布に任意に近いモデルであっても、後方境界は関心の対象となる量の可能な範囲全体をカバーする。
• 標本サイズにかかわらず、最悪の後方誤差は依然として極端なままであり、無限大のデータでも正しい後方分布への収束が保証されないことを示している。
• 感受性はモデル不適合そのものに起因するのではなく、モデル空間におけるわずかな変化に対するベイズ更新の感受性に起因する。
• OUQフレームワークを用いて導出された境界は最適であり、『十分に近い』モデルが信頼できる推論をもたらすとは保証できないことを示している。
• これらの結果は、ベイズ推論における『十分良い』モデルという概念が、モデル摂動に対する根本的な感受性のため、本質的に誤りである可能性を示唆している。