[論文レビュー] A General Method for Robust Bayesian Modeling

Chong Wang, David M. Blei|arXiv (Cornell University)|Oct 17, 2015

Bayesian Methods and Mixture Models参考文献 59被引用数 6

ひとこと要約

この論文では、グローバルパラメータを局所化し、ハイパーパramータを経験ベイズ法で推定することで、標準ベイジアンモデルをロバストなバージョンに変換する一般的なフレームワークを提示する。この手法により、変分EMを用いたスケーラブルな推論が可能となり、一般化線形モデルおよびトピックモデルにおいて、ノイズの多いデータに対して標準モデルや既存のロバストモデル（例：ネガティブバイノミアル回帰）を凌駆する性能向上が達成される。

ABSTRACT

Robust Bayesian models are appealing alternatives to standard models, providing protection from data that contains outliers or other departures from the model assumptions. Historically, robust models were mostly developed on a case-by-case basis; examples include robust linear regression, robust mixture models, and bursty topic models. In this paper we develop a general approach to robust Bayesian modeling. We show how to turn an existing Bayesian model into a robust model, and then develop a generic strategy for computing with it. We use our method to study robust variants of several models, including linear regression, Poisson regression, logistic regression, and probabilistic topic models. We discuss the connections between our methods and existing approaches, especially empirical Bayes and James-Stein estimation.

研究の動機と目的

• データの外れ値や仮定の逸脱に起因するモデル不一致の問題に取り組むこと。標準モデルでは、このような状況下で性能が著しく低下する。
• 任意の既存のベイジアンモデルを、個別に導出を行わずにロバストなバージョンに変換できる汎用的メソッドを開発すること。
• 一般的な変分EMアルゴリズムを用いて、ロバストモデルのスケーラブルな推論を可能にすること。
• 線形回帰、ポアソン回帰、ロジスティック回帰、トピックモデルなど多様なモデルにおいて、本手法の有効性を実証すること。

提案手法

• 各データポイントに個別のパラメータβiを割り当てることで、グローバルパラメータを局所化する。これにより、各βiが事前分布から独立に逸脱可能になる。
• グローバルパラメータβを個別化されたパラメータβiに置き換え、それぞれが共有ハイパーパラメータαに基づく共有事前分布p(βi | α)に従うようにする。これにより、外れ値に対してロバストなモデルが実現される。
• 局所化されたモデルにおけるデータの周辺尤度を最大化することで、ハイパーパラメータαを経験ベイズ法で推定する。
• 変分EMアルゴリズムを設計し、ロバストモデルにおける事後分布推論を実行する。このアルゴリズムは、各データのパラメータ推定とハイパーパラメータの更新を交互に繰り返す。
• 一般化線形モデルおよびトピックモデルに本手法を適用し、その汎用性とスケーラビリティを実証する。
• ホールドアウトデータに対する予測尤度および対数尤度を指標として用い、モデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 任意のベイジアンモデルに対して、モデルタイプごとに特段の導出を施さずにロバスト化できる一般的な手法を開発できるか？
• RQ2 グローバルパラメータの局所化が、外れ値やモデル不適合に対するロバスト性をどのように向上させるか？
• RQ3 経験ベイズによるハイパーパラメータ推定が、ノイズの多いデータにおけるモデル性能をどの程度向上させるか？
• RQ4 本手法は、ネガティブバイノミアル回帰やバースト性を持つトピックモデルといった既存のロバストモデルと比較して、どの程度優れているか？
• RQ5 変分推論を用いることで、大規模データセットに対しても本手法は効率的にスケーリング可能か？

主な発見

• ノイズが多いデータにおいて、予測性能（対数尤度およびL1誤差指標）において、標準ポアソン回帰およびネガティブバイノミアル回帰よりも顕著に優れた性能を示す。
• 性能向上の主な要因は、局所化そのものではなく、個別データの分散を経験ベイズでフィッティングするステップに起因する。
• ロバストな線形回帰は、標準モデルよりも高い予測R2を達成しており、データのノイズが増加するほどその差が顕著になる。
• ロバストLDAは、PNAS、Science、Wikipediaのコーパスにおいて、ホールドアウトドキュメントセグメントの予測対数尤度において、標準LDAを上回る性能を示す。
• 本手法は、トピックモデルのような複雑なモデルに対しても効果的に一般化され、スケーラビリティを維持しながら予測精度を向上させる。
• 変分EMにより効率的な推論が可能となり、大規模応用に向けたロバストモデリング手法の実用化が可能になる。