[論文レビュー] A Class of Conjugate Priors for Multinomial Probit Models which Includes the Multivariate Normal One

Augusto Fasano, Daniele Durante|arXiv (Cornell University)|Jul 14, 2020

Statistical Methods and Bayesian Inference参考文献 50被引用数 13

ひとこと要約

本稿では、多項プロビットモデルにおける統一スケュー正規（SUN）分布が共役事前分布であることを確立し、閉形式の事後分布推論とスケーラブルな変分ベイズ法を可能にした。主な貢献は、特に高次元および不均衡な設定において、計算効率と精度を顕著に向上させる取り扱い可能なベイズ枠組みを提供することにある。

ABSTRACT

Multinomial probit models are routinely-implemented representations for learning how the class probabilities of categorical response data change with p observed predictors. Although several frequentist methods have been developed for estimation, inference and classification within such a class of models, Bayesian inference is still lagging behind. This is due to the apparent absence of a tractable class of conjugate priors, that may facilitate posterior inference on the multinomial probit coefficients. Such an issue has motivated increasing efforts toward the development of effective Markov chain Monte Carlo methods, but state-of-the-art solutions still face severe computational bottlenecks, especially in high dimensions. In this article, we show that the entire class of unified skew-normal (SUN) distributions is conjugate to several multinomial probit models. Leveraging this result and the SUN properties, we improve upon state-of-the-art solutions for posterior inference and classification both in terms of closed-form results for several functionals of interest, and also by developing novel computational methods relying either on independent and identically distributed samples from the exact posterior or on scalable and accurate variational approximations based on blocked partially-factorized representations. As illustrated in simulations and in a gastrointestinal lesions application, the magnitude of the improvements relative to current methods is particularly evident, in practice, when the focus is on high-dimensional studies.

研究の動機と目的

• 多項プロビットモデルにおけるベイズ推論において、取り扱い可能な共役事前分布の欠如を解決し、効率的な事後分布計算を可能にする。
• 特に高次元および不均衡データのシナリオにおいて、マルコフ連鎖モンテカルロ（MCMC）および変分ベイズ法における計算上のボトル neck を克服する。
• 閉形式の事後分布計算とスケーラブルな推論を可能にする統一枠組みを構築し、統一スケュー正規（SUN）分布を共役事前分布として用いる。
• 単変量プロビットモデルから得られた理論的結果を多変量多項プロビット設定に拡張し、より広範な適用可能性を確保する。
• 正確なサンプリングとブロッキングされた部分因子分解された変分近似を用いて、正確で効率的な事後分布推論と分類を実現する。

提案手法

• SUN分布の全クラスが多項プロビットモデルに対して共役であることを示し、事後分布のカーネルがSUN密度と一致することを証明することで、共役性を確立する。
• SUN分布の性質を活用して、周辺尤度や予測確率といった主要な関数の閉形式表現を導出する。
• SUN事前分布の共役性を活用して、正確な事後分布からの独立同分布（i.i.d.）サンプリング手法を開発する。
• ブロッキングされ、部分的に因数分解された表現に基づくスケーラブルな変分ベイズ近似を設計し、高次元における精度と収束性を向上させる。
• 尤度と事前分布の構造を活用して、SUN分布の恒等式を用いて効率的な計算に適した形に同時モデルを再パラメータライズする。
• 標準的な多項プロビットモデルおよびクラス固有の効果を含む拡張モデルへの応用を適用し、広範なモデル適用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 多項プロビットモデルに対して、閉形式の事後分布推論を可能にする取り扱い可能な共役事前分布を特定できるか？
• RQ2 統一スケュー正規（SUN）分布をどのように活用することで、高次元多項プロビットモデルにおけるベイズ推論の計算効率を向上させられるか？
• RQ3 SUN共役性に基づくi.i.d.サンプリングおよび変分ベイズ法は、既存のMCMCおよび近似手法に比べてどの程度優れているか？
• RQ4 希少クラスが存在する不均衡データ設定において、提案された枠組みは正確性とスケーラビリティを維持できるか？
• RQ5 共役性の結果を、クラス固有の予測子効果を有する多項プロビットモデルに拡張できるか？

主な発見

• 統一スケュー正規（SUN）分布が、クラス固有の効果を含む多項プロビットモデルに対しても共役であることが証明され、正確な事後分布計算が可能となった。
• 係数の事後分布がSUN分布であることが示され、周辺尤度や予測確率の閉形式表現が可能となった。
• 本手法は、i.i.d.抽出による正確な事後分布サンプリングと、ブロッキングされ部分的に因数分解された表現を用いたスケーラブルな変分ベイズ近似の両方をサポートする。
• 胃腸疾患の病変分類に関するシミュレーションおよび実データ解析では、特に高次元設定において、計算速度と精度の顕著な向上が確認された。
• クラス頻度が不均衡な状況においても、収束速度と予測性能の両面で、最先端のMCMCおよび変分法を上回る性能を示した。
• 周辺尤度は、多変量正規累積分布関数の比として閉形式で導出され、モデル比較および選択を容易にした。