[論文レビュー] MAD-Bayes: MAP-based Asymptotic Derivations from Bayes

Tamara Broderick, Brian Kulis+1 more|arXiv (Cornell University)|Dec 10, 2012

Bayesian Methods and Mixture Models参考文献 23被引用数 63

ひとこと要約

この論文は、小分散漸近法を用いたベイジアンMAP推定から、ハードアサインメントクラスタリングおよび特徴抽出アルゴリズムを導出する一般化されたフレームワークMAD-Bayesを提案する。交換可能性のあるパーティション関数および特徴確率関数を用いた後退分布への漸近解析により、スケーラブルで解釈可能なアルゴリズム（例：BP-means）を生成し、クラスタリングを超えて重複を許容し、全被覆でない特徴割り当てを可能にする。この手法は、解釈性とスパarsityの面でギブスサンプリングおよび従来のK-meansを凌駕する。

ABSTRACT

The classical mixture of Gaussians model is related to K-means via small-variance asymptotics: as the covariances of the Gaussians tend to zero, the negative log-likelihood of the mixture of Gaussians model approaches the K-means objective, and the EM algorithm approaches the K-means algorithm. Kulis & Jordan (2012) used this observation to obtain a novel K-means-like algorithm from a Gibbs sampler for the Dirichlet process (DP) mixture. We instead consider applying small-variance asymptotics directly to the posterior in Bayesian nonparametric models. This framework is independent of any specific Bayesian inference algorithm, and it has the major advantage that it generalizes immediately to a range of models beyond the DP mixture. To illustrate, we apply our framework to the feature learning setting, where the beta process and Indian buffet process provide an appropriate Bayesian nonparametric prior. We obtain a novel objective function that goes beyond clustering to learn (and penalize new) groupings for which we relax the mutual exclusivity and exhaustivity assumptions of clustering. We demonstrate several other algorithms, all of which are scalable and simple to implement. Empirical results demonstrate the benefits of the new framework.

研究の動機と目的

• 特定の推論アルゴリズムに依存しない、ベイジアンノンパラメトリックモデルからハードアサインメントアルゴリズムを導出する一般化されたフレームワークの開発。
• ガウス混合モデルに限らない、より広範なモデル（β過程およびインド・バンク・プロセスによる特徴学習含む）への古典的小分散漸近法の拡張。
• データポイントが複数の特徴に属することを許容する、新たな目的関数およびアルゴリズム（BP-means）の導出により、クラスタリングにおける相互排他的および全被覆の制約を緩和。
• 得られたアルゴリズムがスケーラブルで実装が容易であり、特徴のスパarsityおよび解釈性の面で、既存のギブスサンプリングおよびK-means手法を凌駆することの実証。
• ベイジアンノンパラメトリックモデルにおけるMAP推定から、K-means風の目的関数を導出する統一的かつアルゴリズムに依存しないアプローチの提供。

提案手法

• ギブスサンプラーなどの推論アルゴリズムに代えて、ベイジアンノンパラメトリックモデルの後退分布に直接小分散漸近法を適用する。
• クラスタリングには交換可能性のあるパーティション確率関数（EPPF）、特徴学習には交換可能性のある特徴確率関数（EFPF）を用いて後退分布を表現する。
• 観測分散σ² → 0の極限をとることで、MAP推定から決定的でハードアサインメント可能な目的関数を導出する。
• β過程およびインド・バンク・プロセスにこのフレームワークを適用し、重複を許容する特徴割り当てアルゴリズム（BP-means）を導出する。
• ディリクレ多項分布などの他の事前分布に対してもこのアプローチを一般化し、クラスタ／特徴平均を周辺化するマージナルMAPに拡張する。
• K-means++初期化や分散処理を含む最適化を施した、スケーラブルなK-means風のアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 小分散漸近法を推論アルゴリズムに依存せずに、後退分布に直接適用することで、ハードアサインメントアルゴリズムを導出できるか？
• RQ2 EPPFおよびEFPFを用いることで、ディリクレ過程混合モデルを超えて、特徴学習モデルへの小分散漸近法の一般化は可能か？
• RQ3 このフレームワークをβ過程およびインド・バンク・プロセスに適用した際、どのような新しい目的関数およびアルゴリズムが得られるか？
• RQ4 得られたアルゴリズムは、既存のギブスサンプリングおよびK-means手法と比較して、性能、スパarsity、解釈性の面でどのように差がつくか？
• RQ5 このフレームワークは、マージナルMAP推定およびディリクレ多項分布などの他の事前分布へも拡張可能か？

主な発見

• BP-meansアルゴリズムは、重複する特徴を効果的に学習し、テーブルトップオブジェクトデータセットでは、1つの基本的特徴に加え、髪の長さや肌の色といった明確な視覚的特徴を別々に捉える2つの追加特徴を抽出した。
• FEI顔データセットでは、λ²=5のBP-meansが、1つの基本的特徴と、長髪と濃い肌といった顔貌特徴の解釈可能な組み合わせを表現する2つの追加特徴を選択した。
• 特徴割り当てモデルは、K-meansよりもスパースで解釈性の高いグループ化を生み出し、全4通りの特徴組み合わせにおける特徴数（139, 106, 80, 75）が、バランスが取れて意味のある組み合わせを示した。
• K=3およびK=4のK-meansでは、顔のクラスタが解釈が難しく、K=4の場合のクラスタ4にはサンプル画像が1つも含まれていなかったため、グループ構造が不十分であった。
• BP-meansアルゴリズムは、クラインボトルと20ドル札を含む余分な特徴を発見したが、それでもギブスサンプリングに比べて収束性とスパarsityの面で優れていた。
• このフレームワークはDP混合モデルを超えて一般化され、ディリクレ多項分布事前分布など他のモデルに対しても適用可能であり、K-means風の最適化によりスケーラブルで高速なアルゴリズムを実現する。