[論文レビュー] A Novel Bayesian Cluster Enumeration Criterion for Unsupervised Learning.

Freweyni K. Teklehaymanot, Michael Muma+1 more|arXiv (Cornell University)|Oct 22, 2017

Bayesian Methods and Mixture Models被引用数 2

ひとこと要約

本稿では、緩い分布仮定の下で事後確率の最大化から導出された、クラスタ数の特定を目的とした新しいベイズ情報量基準（BIC）を提案する。モデルベースの2段階アルゴリズムを導入し、多変量正規分布データに対して閉形式のBICを用いて最適なクラスタ数を選択する。合成データおよび実世界のデータにおける実験で、元来のBICを上回る性能を示した。

ABSTRACT

We derive a new Bayesian Information Criterion (BIC) from first principles by formulating the problem of estimating the number of clusters in an observed data set as maximization of the posterior probability of the candidate models. Given that some mild assumptions are satisfied, we provide a general BIC expression for a broad class of data distributions. This serves as an important milestone when deriving the BIC for specific data distributions. Along this line, we provide a closed-form BIC expression for multivariate Gaussian distributed observations. We show that incorporating data structure of the clustering problem into the derivation of the BIC results in an expression whose penalty term is different from that of the original BIC. We propose a two-step cluster enumeration algorithm. First, a model-based unsupervised learning algorithm partitions the data according to a given set of candidate models. Subsequently, the optimal cluster number is determined as the one associated to the model for which the proposed BIC is maximal. The performance of the proposed criterion is tested using synthetic and real data sets. Despite the fact that the original BIC is a generic criterion which does not include information about the specific model selection problem at hand, it has been widely used in the literature to estimate the number of clusters in an observed data set. We, therefore, consider it as a benchmark comparison. Simulation results show that our proposed criterion outperforms the existing cluster enumeration methods that are based on the original BIC.

研究の動機と目的

• 教師なし学習におけるモデル固有のクラスタ数特定基準の欠如に応えるために、第一原理から整合的なベイズ基準を導出すること。
• クラスタリング固有のデータ構造を考慮しない一般化された元来のBICを改善するため、そのペナルティ項にこのような構造を組み込むこと。
• 多変量正規分布に従う観測値に適用可能な閉形式のBIC式を導出すること。
• モデルベースクラスタリングと新規BICを組み合わせた2段階アルゴリズムを提案し、最適なクラスタ数の選択を実現すること。
• 合成データおよび実データセットを用いた実験を通じて、提案基準を元来のBICおよび他の既存手法と比較して実証的に検証すること。

提案手法

• 候補モデルの事後確率を最大化することで、クラスタ数特定をベイズ的モデル選択問題として定式化する。
• 広範なデータ分布クラスに適用可能な、やや緩い正則性仮定の下での一般化されたBIC式を導出する。
• 一般化されたBICを多変量正規分布データに特化させ、クラスタリング構造を反映した修正されたペナルティ項を有する閉形式式を得る。
• 2段階のアルゴリズムを実装する：まず、候補モデルの下でモデルベースクラスタリング法を適用してデータを分割し、次に、提案されたBIC値が最大となるモデルを選択する。
• モデルの複雑さを、クラスタリング問題固有の構造に敏感な方法でペナルティ化する、導出されたBICをモデル選択基準として用いる。
• 合成および実データを用いたシミュレーション研究において、提案基準を元来のBICと比較する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリング問題の構造をよりよく反映する第一原理からのベイズ的クラスタ数特定基準をどのように導出できるか？
• RQ2 BICのペナルティ項にデータ構造を組み込むことで、クラスタリングのモデル選択にどのような改善がもたらされるか？
• RQ3 提案されたBICは、元来のBICと比較して、クラスタ数の推定においてどの程度優れているか？
• RQ4 提案された2段階アルゴリズムは、多様なデータ分布において真のクラスタ数を信頼性高く同定できるか？
• RQ5 新規BICは、元来のBICに依存する既存のクラスタ数特定手法を上回る性能を示すか？

主な発見

• 提案されたBICは、ペナルティ項にデータ構造を組み込み、元来のBICとは異なる定式化を実現している。
• 閉形式のBIC式は、多変量正規分布に従う観測値に特化して導出されており、計算が効率的に行える。
• シミュレーション結果から、提案基準が正しいクラスタ数の推定において一貫して元来のBICを上回ることが示された。
• 2段階アルゴリズムは、候補モデル全体で提案されたBICを最大化することで、最適なクラスタ数を効果的に同定している。
• 合成データおよび実世界のデータセットにおいて、既存のBICに基づくクラスタ数特定手法と比較して、提案手法が優れた性能を示した。
• 元来のBICに対する改善は、クラスタリング固有のデータ構造を反映したモデル固有のペナルティ項に起因する。