[論文レビュー] Robust and Scalable Bayes via a Median of Subset Posterior Measures

Stanislav Minsker, Sanvesh Srivastava+2 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Statistical Methods and Models被引用数 68

ひとこと要約

この論文は、データを重複のない部分集合に分割し、各部分集合の事後分布を計算した後、距離空間における確率測度の中央値を用いてそれらを統合する、頑健でスケーラブルなベイズ推論手法を提案する。この手法は外れ値に対して頑健であり、計算効率も高く、理論的および実験的妥当性が確認されている。

ABSTRACT

We propose a novel approach to Bayesian analysis that is provably robust to outliers in the data and often has computational advantages over standard methods. Our technique is based on splitting the data into non-overlapping subgroups, evaluating the posterior distribution given each independent subgroup, and then combining the resulting measures. The main novelty of our approach is the proposed aggregation step, which is based on the evaluation of a median in the space of probability measures equipped with a suitable collection of distances that can be quickly and efficiently evaluated in practice. We present both theoretical and numerical evidence illustrating the improvements achieved by our method.

研究の動機と目的

• 外れ値に対して頑健でありながら計算スケーラビリティを維持するベイズ推論手法の開発。
• 汚染済みまたは重たい尾を持つデータに対して標準的なベイズ手法に見られる限界の解消。
• 統計的に妥当かつ計算的に効率的な方法で部分事後分布を統合するメカニズムの設計。
• 提案手法の頑健性および一貫性に関する理論的保証の提供。
• 実データおよび合成データセットを用いた数値実験を通じて実用的利点の提示。

提案手法

• 並列計算を可能にするために、データを重複のない独立した部分群に分割する。
• 標準的なベイズ手法を用いて、各部分群に対して独立に事後分布を計算する。
• 距離関数の族を用いて、確率測度の空間内で部分事後測度の中央値を計算する。
• 中央値計算に用いる距離は、実用上効率的に評価可能なものを選択し、スケーラビリティを確保する。
• 最終的な統合事後分布は、すべての部分事後分布との距離の和を最小化する測度として導出される。
• 確率測度の空間の幾何的性質を活用することで、極端または汚染されたデータポイントに対しても頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 外れ値に対して頑健であり、かつ計算スケーラブルなベイズ推論手法は構築可能か？
• RQ2 中央値による事後分布統合戦略は、標準的な統合手法と比較して、頑健性および精度において優れているか？
• RQ3 提案手法の一致性および頑健性について、どのような理論的保証を提供できるか？
• RQ4 実用的で計算可能な距離関数を用いて、確率測度の中央値をどれほど効率的に計算できるか？
• RQ5 データに外れ値が含まれる場合やモデルが誤りである場合でも、この手法は良好な頻度的性質を維持するか？

主な発見

• 本手法は、外れ値に対して敏感でない平均ベースの統合とは異なり、確率測度空間における中央値を用いることで外れ値に対して頑健である。
• データの分割と部分事後分布の並列計算により、計算上の利点が得られる。
• 理論的分析により、中央値ベースの統合は弱い正則性条件のもとで一貫した事後推定をもたらすことが示された。
• 数値実験により、汚染済みまたは重たい尾を持つ観測値を含むデータセットにおいて、標準的なベイズ手法よりも優れた性能を示した。
• 効率的に計算可能な距離の使用により、大規模データセットへの実用的導入が可能であり、頑健性を損なわない。
• 外れ値がデータに一部含まれる場合でも、良好な頻度的カバレッジ性質を維持した。