[論文レビュー] Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression

Quan Zhang, Mingyuan Zhou|arXiv (Cornell University)|Dec 30, 2016

Bayesian Methods and Mixture Models被引用数 9

ひとこと要約

本稿では、共変数に依存するスティック成功確率を用いて、多項回帰を独立した二値回帰に変換する、並べ替えおよび拡張されたスティック・ブレイキング（paSB）構成を提案する。この手法により、ソフトプラス関数と既存の二値分類器（例：SVM）を活用することで、不確実性の定量化、ロバストネス、非線形の意思決定境界を備えたベイジアン多項分類が可能になる。

ABSTRACT

To model categorical response variables given their covariates, we propose a permuted and augmented stick-breaking (paSB) construction that one-to-one maps the observed categories to randomly permuted latent sticks. This new construction transforms multinomial regression into regression analysis of stick-specific binary random variables that are mutually independent given their covariate-dependent stick success probabilities, which are parameterized by the regression coefficients of their corresponding categories. The paSB construction allows transforming an arbitrary cross-entropy-loss binary classifier into a Bayesian multinomial one. Specifically, we parameterize the negative logarithms of the stick failure probabilities with a family of covariate-dependent softplus functions to construct nonparametric Bayesian multinomial softplus regression, and transform Bayesian support vector machine (SVM) into Bayesian multinomial SVM. These Bayesian multinomial regression models are not only capable of providing probability estimates, quantifying uncertainty, increasing robustness, and producing nonlinear classification decision boundaries, but also amenable to posterior simulation. Example results demonstrate their attractive properties and performance.

研究の動機と目的

• 従来の多項回帰が不確実性の推定やロバストな非線形の意思決定境界を提供できないという限界を解消すること。
• 事後分布のシミュレーションと不確実性の定量化に適した、多項分類のためのベイジアンフレームワークを構築すること。
• 任意の交差エントロピー損失に基づく二値分類器を、ベイジアン多項モデルに変換可能にする仕組みを提供すること。
• 共変数に依存するソフトプラス関数を用いた非パラメトリックなベイジアン多項ソフトプラス回帰を構築すること。
• paSB構成を用いて、ベイジアンサポートベクターマシンを多項分類に拡張すること。

提案手法

• paSB構成は、観測されたカテゴリをランダムに並べ替えた潜在的スティックにマッピングし、カテゴリと二値応答変数の間に一対一の対応関係を確立する。
• 各スティックは、対応するカテゴリの回帰係数によってパrameter化された二値結果を表す。
• スティックの失敗確率の負の対数は、共変数のソフトプラス関数としてモデル化され、柔軟で非パラメトリックなモデリングが可能になる。
• この手法により、共変数に依存する成功確率を持つ独立した二値回帰問題に、多項回帰が変換される。
• スティック固有の二値変数がその共変数に依存する確率を与える限り、事後分布のシミュレーションが可能になる。
• 既存の二値分類器（例：SVM）は、損失関数とパrameter化にpaSB変換を適用することで、ベイジアン多項モデルに変換可能になる。

実験結果

リサーチクエスチョン

• RQ1 完全な事後推論と不確実性の定量化を提供しながらも、計算の実行可能性を維持するベイジアン多項回帰モデルを構築できるか？
• RQ2 任意の交差エントロピー損失に基づく二値分類器を、体系的にベイジアン多項分類器に変換する方法は何か？
• RQ3 paSB構成は、解釈可能性と事後分布のシミュレーションを保ちながら、多項分類における非線形の意思決定境界を生成できるか？
• RQ4 提案されたソフトプラスに基づく非パラメトリックなベイジアン多項回帰モデルは、標準的な多項モデルと比較してどの程度の性能を示すか？
• RQ5 ベイジアンSVMは、paSBフレームワークを用いてどの程度まで多項分類に拡張可能か？

主な発見

• paSB構成は、多項回帰を条件付き独立な二値回帰問題の集合に成功して変換し、事後分布のシミュレーションと不確実性の定量化を可能にした。
• スティックの失敗確率をモデリングするソフトプラス関数の使用により、多項アウトカムにおける共変数効果の柔軟で非パラメトリックなモデリングが可能になった。
• このフレームワークにより、任意の交差エントロピー損失に基づく二値分類器を、ベイジアン多項モデルに変換可能であり、その意思決定境界構造を保持した。
• 得られたベイジアン多項ソフトプラス回帰モデルは、ロバストネスを示し、非線形の意思決定境界を生成できる能力を示した。
• paSBを用いたベイジアンSVMの多項分類への拡張により、不確実性の定量化と予測性能が向上したモデルが得られた。
• 実験的結果から、本手法が信頼性の高い確率推定と分類タスクにおける強化されたロバストネスといった魅力的な特性を有することが示された。