[論文レビュー] Post-Inference Prior Swapping

Willie Neiswanger, Eric P. Xing|arXiv (Cornell University)|Jun 2, 2016

Gaussian Processes and Bayesian Inference被引用数 3

ひとこと要約

この論文は、便宜的な事前分布を用いて事前に計算された偽の事後分布を、任意の目的の事前分布に変換することで、いかなる目的の事前分布に対しても効率的かつ正確な事後分布推論を可能にする、事前分布入れ替え（prior swapping）という手法を導入する。この手法は、データに依存しない更新を活用して、推論アルゴリズムの再実行にかかるコストを回避し、とくに事前分布が著しく異なる、あるいは複雑な場合において、重要度サンプリングを大きく上回る精度と速度を達成する。

ABSTRACT

While Bayesian methods are praised for their ability to incorporate useful prior knowledge, in practice, convenient priors that allow for computationally cheap or tractable inference are commonly used. In this paper, we investigate the following question: for a given model, is it possible to compute an inference result with any convenient false prior, and afterwards, given any target prior of interest, quickly transform this result into the target posterior? A potential solution is to use importance sampling (IS). However, we demonstrate that IS will fail for many choices of the target prior, depending on its parametric form and similarity to the false prior. Instead, we propose prior swapping, a method that leverages the pre-inferred false posterior to efficiently generate accurate posterior samples under arbitrary target priors. Prior swapping lets us apply less-costly inference algorithms to certain models, and incorporate new or updated prior information "post-inference". We give theoretical guarantees about our method, and demonstrate it empirically on a number of models and priors.

研究の動機と目的

• 任意の目的の事前分布に対して、高価な推論アルゴリズムの再実行なしに、事後分布を効率的に計算する課題に対処すること。
• 目的の事前分布が偽の事前分布と著しく異なる場合に、分散が高くなりがちな重要度サンプリングの限界を克服すること。
• 標準的な推論が計算的に困難なモデルにおいて、後から更新されたまたは新たな事前情報を取り込むことを可能にすること。
• 正確な密度、近似事後分布、MCMCサンプルといった、さまざまな種類の推論結果に対して、それらを目的の事後分布に変換することで、汎用的な手法を提供すること。
• 一般化線形モデルや関係性・スパarsity誘導型事前分布を持つ潜在変数モデルを含む多様なモデルにおいて、事前分布入れ替えが理論的に妥当かつ実験的に有効であることを示すこと。

提案手法

• 便宜的な偽の事前分布 $\pi_f(\theta)$ を用いて、解析的または効率的な推論が可能な事前に推論された偽の事後分布 $p_f(\theta|x^n)$ を使用する。
• データに依存しない反復的更新を適用し、$p_f(\theta|x^n)$ からのサンプルまたは密度推定値を、任意の目的の事前分布 $\pi(\theta)$ の下での正確な事後分布 $p(\theta|x^n)$ へのサンプルに変換する。
• MCMCサンプルに対しては、目的の事前分布密度と偽の事前分布密度の比に基づいて、提案分布を調整する一連のメトロポリス・ハスティングスステップを実行する。
• パラメトリックまたは近似事後分布に対しては、比 $\pi(\theta)/\pi_f(\theta)$ を用いて偽の事後分布を再重み付けまたは再パラメータライズationすることで、目的の事前分布に一致させる。
• この手法は、データに依存する更新を回避し、事前に計算された推論結果を活用するため、計算的に効率的である。
• 偽の事後分布表現のさまざまな形態において、収束性と精度に関する理論的保証が提供される。

実験結果

リサーチクエスチョン

• RQ1 便宜的な事前分布の下で事前に計算された偽の事後分布を、再推論を実行せずに、任意の目的の事前分布の下での正確な事後分布に変換できるか？
• RQ2 目的の事前分布が偽の事前分布と著しく異なる場合、重要度サンプリングと比較して、事前分布入れ替えの分散と精度はどのように異なるか？
• RQ3 スパarsity誘導型または関係性を考慮するような複雑な、非共役の、あるいは構造的な事前分布（例えば、潜在要因におけるスパarsity誘導型または関係性を考慮する事前分布）を効率的に処理できるか？
• RQ4 標準的な推論が高価なモデル（例えば、トピックモデルや一般化線形モデル）において、事前分布入れ替えが計算コストをどの程度削減できるか？
• RQ5 目的の事前分布が重尾分布である、または偽の事前分布とは異なるパラメトリックな形をしている場合でも、事前分布入れ替えは精度を維持できるか？

主な発見

• 目的の事前分布が偽の事前分布と著しく異なる場合、重要度サンプリングが分散が高いため失敗するが、事前分布入れ替えは、常に重要度サンプリングより低い事後分布推定誤差を達成する。
• ベイズ一般化線形モデルにおいて、事前分布入れ替えは、重尾分布やスパarsity誘導型事前分布の下でも、直接のMCMCサンプリングと比較して、数個のオーダーも早い収束を実現する。
• ガウス・ミックスチャネル・モデルやLDAなどの潜在因子モデルにおいて、多様性を促進する事前分布を用いて、重複するトピッククラスタを効果的に分離し、解釈性を向上させる。
• ウォール・タイム測定では、複数の目的の事前分布を考慮する場合、直接推論よりも事前分布入れ替えが著しく高速であり、数個のオーダーも早い。
• 目的の事前分布が非常に非ガウス的である、または偽の事前分布とは異なるパラメトリックな形をしている場合でも、高い精度を維持する。これにより、強力なロバストネスが示された。
• 合成データおよび実世界のデータ（例：Simple English Wikipediaコロナ）を用いた実験結果から、事前分布入れ替えが、高価な推論パイプラインの再実行なしに、複雑な事前分布下での効率的な事後分布計算を可能にすることが確認された。