[論文レビュー] Robust Probabilistic Modeling with Bayesian Data Reweighting

Zhaoran Wang, Alp Kucukelbir+1 more|arXiv (Cornell University)|Jun 13, 2016

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿では、外れ値や不適合なデータポイントを軽減する観測固有の重みを学習することで、確率的モデルのロバスト性を高めるためのベイジアン・データ・リウェイト（BDR）を提案する。各尤度項に潜在的重みを適用し、重みとモデルパラメータを同時に推論することで、モデルの不適合状況下でも推論と予測の性能が向上することが、ポisson因子分解を用いたMovielens 1Mデータセットで示された。

ABSTRACT

Probabilistic models analyze data by relying on a set of assumptions. Data that exhibit deviations from these assumptions can undermine inference and prediction quality. Robust models offer protection against mismatch between a model's assumptions and reality. We propose a way to systematically detect and mitigate mismatch of a large class of probabilistic models. The idea is to raise the likelihood of each observation to a weight and then to infer both the latent variables and the weights from data. Inferring the weights allows a model to identify observations that match its assumptions and down-weight others. This enables robust inference and improves predictive accuracy. We study four different forms of mismatch with reality, ranging from missing latent groups to structure misspecification. A Poisson factorization analysis of the Movielens 1M dataset shows the benefits of this approach in a practical scenario.

研究の動機と目的

• モデルの不適合問題に対処する。これは、データがモデルの仮定から逸脱することで、推論と予測性能が低下する状況である。
• モデル構造の再設計を伴わずに、モデル仮定に違反するデータを検出し、緩和する汎用的手法を開発すること。
• 古典的なロバスト手法が失敗する高次元で複雑な確率的モデルにおいて、ロバストな推論を可能にすること。
• 後方推論の過程で、損傷または異常な観測を系統的かつスケーラブルに同定・軽減するアプローチを提供すること。

提案手法

• 各観測の尤度を潜在的重み $ w_n $ のべき乗にすることで、元の尤度を変更した再重み付け確率的モデル（RPM）を提案する。
• 潜在変数 $ \beta $ と重み $ w $ の同時後方分布を定義し、重みが1に近づくよう促す事前分布 $ p_w(w) $ を設定する。
• 推論を導くために、対数後方分布の形 $ \log p(\beta, w|y) \propto \log p_\beta(\beta) + \log p_w(w) + \sum_n w_n \log \ell(y_n|\beta) $ を使用する。
• 変分ベイズ推論またはMCMCを用いて、$ \beta $ と $ w $ の両方の同時後方分布推論を実行し、尤度が低い観測を同定・軽減できるようにする。
• 重みの事前分布を活用して、$ w_n = 1 $ からの極端な逸脱を罰する。これにより、尤度が著しく低い観測のみが軽減される。
• 欠落した潜在的グループや構造的不適合など、さまざまなタイプのモデル不適合に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 再設計を伴わずに、モデル仮定に違反するデータポイントを検出し、緩和する汎用的手法は可能か？
• RQ2 外れ値や汚染を含むデータにおいて、ベイジアン・データ・リウェイトは予測精度の向上にどの程度有効か？
• RQ3 高次元確率的モデルにおいて、潜在的重みは不適合な観測をどの程度正確に同定・軽減できるか？
• RQ4 重みの事前分布の選択は、ロバスト性と推論品質にどのように影響するか？
• RQ5 本手法は、異常なユーザ行動を示す推薦システムのような複雑な構造を持つ実世界のデータセットにも適用可能か？

主な発見

• ベイジアン・データ・リウェイトは、腐敗した観測（例：子供のアカウントがホラー映画の視聴に使われたケース）を効果的に同定・軽減し、モデルのロバスト性を向上させた。
• Movielens 1Mデータセットにおいて、BDRを用いたポisson因子分解は、モデル不適合状況下で標準的なポisson因子分解よりも優れた予測性能を達成した。
• 尤度が著しく低い観測（例：単峰性分布で1.5付近の観測）を検出し、軽減することで、全体のフィット感が向上した。
• 潜在的重み $ w_n $ は、モデルが想定する生成プロセスから逸脱するデータポイントを自動的に同定する。
• 重みの事前分布は、重みの過剰な収縮を防ぐ上で極めて重要であり、真に異常な観測のみが軽減されるように保証する。
• 実験的結果から、BDRは、欠落したグループや構造的誤りを含む、複数のタイプのモデル不適合状況において、モデルのフィット感と予測精度を向上させた。