[論文レビュー] Nonparametric learning from Bayesian models with randomized objective functions

Simon Lyddon, Stephen G. Walker+1 more|arXiv (Cornell University)|Jun 29, 2018

Bayesian Methods and Mixture Models参考文献 13被引用数 15

ひとこと要約

本稿は、モデルの真偽を仮定しないスケーラブルなベイジアン非パラメトリック学習フレームワークを導入する。このフレームワークは、パラメトリックモデルの周囲に非パラメトリック事前分布を配置し、濃度パラメータ $ c $ を用いてモデル信頼度と実証的データのバランスをとる。この手法により、モデルの不適合に対しても頑健な推論が可能となり、事前分布の正則化が可能になり、標準的なパラメトリックモデルや変分ベイズ法と比較して優れた予測性能を達成する。さらに、モンテカルロサンプリングが容易に並列化可能である。

ABSTRACT

Bayesian learning is built on an assumption that the model space contains a true reflection of the data generating mechanism. This assumption is problematic, particularly in complex data environments. Here we present a Bayesian nonparametric approach to learning that makes use of statistical models, but does not assume that the model is true. Our approach has provably better properties than using a parametric model and admits a Monte Carlo sampling scheme that can afford massive scalability on modern computer architectures. The model-based aspect of learning is particularly attractive for regularizing nonparametric inference when the sample size is small, and also for correcting approximate approaches such as variational Bayes (VB). We demonstrate the approach on a number of examples including VB classifiers and Bayesian random forests.

研究の動機と目的

• ベイジアン推論における根本的な制限、すなわちモデルが真実であると仮定することを解消すること。これは、複雑で高次元のデータ環境ではしばしば成立しない。
• モデルの真偽を必要とせず、パラメトリックモデルからの事前知識を統合する非パラメトリックベイジアンフレームワークを構築することにより、不適合に対する頑健性を高めること。
• 観測データと仮想サンプルからなる拡張データセットに対する事後ブートストラップサンプラーを用いて、スケーラブルかつ並列化可能な推論を可能とすること。
• 変分ベイズ法における近似誤差を、非パラメトリック事後分布の更新に組み込むことで是正すること。
• 非パラメトリック事後分布下で目的関数をランダム化することにより、中央値などの目的関数（例：中央値）に対する直接的な推論を可能とすること。

提案手法

• 本手法は、パラメトリックモデルの周囲に非パラメトリック事前分布を配置し、濃度パラメータ $ c $ を用いてモデルベース推論と実証的データの相対的影響を制御する。
• 観測データとパラメトリック事後分布からの仮想サンプルを含む拡張データセットに対して、事後ブートストラップを実行することで、非パラメトリック事後分布からのモンテカルロサンプリングを可能にする。
• サンプリング分布にディリクレ過程事前分布を適用することで目的関数をランダム化し、モデルの真偽を仮定せず、不確実性を定量化するランダム化最大尤度推定器を導出する。
• このアプローチは、事前情報の統合と非パラメトリック事前分布下での完全なベイズ更新を許容する点で、重み付き尤度ブートストラップを一般化する。
• モデルベース推論において、$ c \to \infty $ のとき、標準的なベイズ更新に回復する。また $ c = 0 $ のとき、ベイジアンブートストラップに還元され、連続的な補間が可能になる。
• サンプラーは容易に並列化可能である。パラメトリック事後分布サンプルが生成されれば、非パラメトリック更新は粒子ごとに独立して実行可能である。

実験結果

リサーチクエスチョン

• RQ1 モデルが真実であると仮定しない非パラメトリックベイズ学習を、モデルの不適合に対して頑健にするにはどうすればよいか？
• RQ2 パラメトリックモデルからの事前知識を統合しつつ、モデルの有効性に無関心な非パラメトリック事後分布を構築できるか？
• RQ3 濃度パラメータ $ c $ が非パラメトリックフレームワーク内でのモデルベース推論とデータ駆動型推論のトレードオフをどのように制御するか？
• RQ4 このフレームワークは、変分ベイズ法の近似誤差を非パラメトリック事後分布に埋め込むことで是正できるか？
• RQ5 この手法は、モデルが不適合である場合でも、中央値などの目的関数に基づく直接推論において、どのような性能を示すか？

主な発見

• モデルが不適合である場合、本手法は標準的なパラメトリックベイジアンモデルや変分ベイズ法よりも、特に小標本領域において優れた予測精度を達成する。
• ベイジアンランダムフォレストに対して、提案手法であるBRFは、元のデータと合成データを併合して学習した完全なランダムフォレスト（RF-all）と同等の性能を達成するが、合成サンプルのみを用いることでデータの機微性を保持する。
• 濃度パラメータ $ c $ の最適値は、外部学習データセットのサイズにほぼ等しいことが経験的に示された。これは、$ c $ が有効サンプルサイズとして解釈されることと整合する。
• $ c = 0 $ のとき、本手法はベイジアンブートストラップに還元され、標本中央値に鋭く集中する事後分布が得られ、観測範囲に制限されたサポートを示す。
• $ c $ が増加するにつれて、事後分布は滑らかになり、最終的に $ c \to \infty $ でパラメトリック事後分布に収束する。
• 事後ブートストラップは、モデルが不適合であっても、真のデータ生成分布へのKullback-Leibler発散を最小化するパラメータを標的にすることで、推定量に対する不確実性の適切な定量化を可能にする。