[論文レビュー] Softplus Regressions and Convex Polytopes

Mingyuan Zhou|arXiv (Cornell University)|Aug 23, 2016

Machine Learning and Algorithms参考文献 67被引用数 10

ひとこと要約

本稿では、複数の超平面が形成する凸ポリトープを用いて、元の共変量空間そのもので柔軟で非線形な意思決定境界を構築するソフトプラス回帰モデルを提案する。共変量に依存するガンマ分布をガンマ過程を介して畳み込みおよび積み重ねることで、計算コストが著しく低減された一方で、カーネルSVMと同等の分類精度を達成し、解釈可能な幾何的制約とベイズ的不確実性の定量化を提供する。

ABSTRACT

To construct flexible nonlinear predictive distributions, the paper introduces a family of softplus function based regression models that convolve, stack, or combine both operations by convolving countably infinite stacked gamma distributions, whose scales depend on the covariates. Generalizing logistic regression that uses a single hyperplane to partition the covariate space into two halves, softplus regressions employ multiple hyperplanes to construct a confined space, related to a single convex polytope defined by the intersection of multiple half-spaces or a union of multiple convex polytopes, to separate one class from the other. The gamma process is introduced to support the convolution of countably infinite (stacked) covariate-dependent gamma distributions. For Bayesian inference, Gibbs sampling derived via novel data augmentation and marginalization techniques is used to deconvolve and/or demix the highly complex nonlinear predictive distribution. Example results demonstrate that softplus regressions provide flexible nonlinear decision boundaries, achieving classification accuracies comparable to that of kernel support vector machine while requiring significant less computation for out-of-sample prediction.

研究の動機と目的

• カーネル法やディープラーニングの計算負荷を回避する非パrametricベイズ的手法を、非線形分類に適用すること。
• 共変量空間において複数の超平面を用いて、凸ポリトープまたはそれらの和集合として柔軟な意思決定境界を構築すること。
• ガンマ過程事前分布を用いることで、不要な要素（ガンマ成分）を自動で0に縮小するモデルの複雑さの自動選択を可能にすること。
• 高い予測精度を維持しつつ、意思決定境界に解釈可能な幾何的制約を提供すること。
• データ拡張と周辺化を用いたギブスサンプリングにより、完全な事後予測分布を生成し、モデルの不確実性を定量化すること。

提案手法

• ソフトプラス関数を用いてガンマ分布の尺度をパrameter化することで、共変量の滑らかで非線形な変換を可能にする。
• 共変量に依存するスケールを持つ可算無限個のガンマ分布の畳み込みおよび積み重ねが、ガンマ過程事前分布を介して柔軟な予測密度を形成する。
• 階層ベイズモデルは、これらの畳み込みおよび積み重ねられたガンマ成分を、二値応答のモデリングに適したベルヌーイ・ポアソン尤度と組み合わせる。
• データ拡張と周辺化技術を用いて、複雑な事後分布を分解・分離する新しいギブスサンプリングアルゴリズムを導出する。
• 各MCMC反復内でのパラメータの並列更新をサポートすることで、計算効率を向上させる。
• ガンマ過程事前分布により、使用されないエキスパート（ガンマ成分）の重みが自動で縮小され、K_maxを大きく設定しても過剰適合を回避できる。

実験結果

リサーチクエスチョン

• RQ1 カーネル関数やディープネットワークに依存せずに、元の共変量空間において複数の超平面を用いて非線形な意思決定境界を定義できるか？
• RQ2 共変量に依存するガンマ分布の畳み込みおよび積み重ねは、二値分類において複雑で滑らかで柔軟な非線形性をどのようにモデル化できるか？
• RQ3 ガンマ過程事前分布を有する非パrametricベイズ枠組みは、不要な成分（エキスパート）の数を自動で学習し、過剰適合を回避できるか？
• RQ4 この手法は、カーネルSVMと同等の予測精度を達成しつつ、出側推論コストをどれほど低減できるか？
• RQ5 得られた意思決定境界は幾何的にどのように凸ポリトープに関連しており、入力空間において意味的に解釈可能か？

主な発見

• 和型およびSS型ソフトプラス回帰は、8つのベンチマークデータセットにおいて、カーネルサポートベクターマシンと同等の分類精度を達成した。
• 意思決定境界の明示的な幾何的構造のおかげで、出側予測にかかる計算量がカーネルSVMに比べて著しく低減された。
• K_max = 20でさえも、不要なエキスパートの重みが0に自動的に縮小されることが確認され、モデルの複雑さの制御が有効に機能している。
• ijcnn1やa9aといった大規模データセットでは、K_maxを50に引き上げた際、さらなる縮小が観察され、自動モデル選択の堅牢性とスケーラビリティが裏付けられた。
• ギブスサンプラーにより、閉形式での更新が可能で、並列計算をサポートする効率的な事後推論が実現された。
• 本手法は完全な事後予測分布を提供し、精度を損なわず不確実性の定量化と確率的予測を可能にした。