[論文レビュー] A Bayesian non-parametric method for clustering high-dimensional binary data

Tapesh Santra|arXiv (Cornell University)|Mar 8, 2016

Bayesian Methods and Mixture Models参考文献 23被引用数 5

ひとこと要約

本稿では、ディリクレ過程混合モデルとシミュレーテッド・アニーリングを組み合わせることで、次元の高いバイナリーデータに対するベイジアン非パラメトリッククラスタリング手法を提案する。この手法は、最適なクラスタ数を自動で特定可能であり、シミュレーションでは既存手法を上回り、文書解析、筆跡認識、がん研究の実世界データセットにおいても、トピックベースのグループ化、書体特徴のクラスタ、治療法別のがん変異パターンを効果的に特定した。

ABSTRACT

In many real life problems, objects are described by large number of binary features. For instance, documents are characterized by presence or absence of certain keywords; cancer patients are characterized by presence or absence of certain mutations etc. In such cases, grouping together similar objects/profiles based on such high dimensional binary features is desirable, but challenging. Here, I present a Bayesian non parametric algorithm for clustering high dimensional binary data. It uses a Dirichlet Process (DP) mixture model and simulated annealing to not only cluster binary data, but also find optimal number of clusters in the data. The performance of the algorithm was evaluated and compared with other algorithms using simulated datasets. It outperformed all other clustering methods that were tested in the simulation studies. It was also used to cluster real datasets arising from document analysis, handwritten image analysis and cancer research. It successfully divided a set of documents based on their topics, hand written images based on different styles of writing digits and identified tissue and mutation specificity of chemotherapy treatments.

研究の動機と目的

• 従来の手法が次元の高さとクラスタ数の不確実性に苦しむ高次元バイナリーデータのクラスタリングという課題に対処すること。
• 事前にクラスタ数を指定する必要のない、最適なクラスタ数を自動で特定する手法の開発。
• キーワードの有無、遺伝子変異、画像特徴などのバイナリーフィーチャーを含む実世界の応用において、クラスタリングの精度と頑健性の向上。
• テキスト、画像、バイオメディカル研究を含む多様な分野に適したスケーラブルで適応可能なフレームワークの提供。

提案手法

• 無限個のクラスタを許容するディリクレ過程混合モデル（DPMM）を用い、事後分布推定によって有効なクラスタ数が決定される。
• バイナリーデータを柔軟にモデル化できる非共役事前分布を用いることで、高次元バイナリーベクトルの柔軟なモデリングを可能にする。
• ギブスサンプリングフレームワークにシミュレーテッド・アニーリングを統合し、事後分布探索における収束性の向上と局所最適解の回避を図る。
• DPのチャイニーズレストランプロセス（CRP）表現を用いて、サンプリング中にデータポイントを効率的にクラスタに割り当てる。
• クラスタ固有のパラメータを統合する「コラプス型ギブスサンプラー」を用いたマルコフ連鎖モンテカルロ（MCMC）による事後分布推定。
• 事前にクラスタ数を指定する必要のない、適応的なクラスタ構造学習を実現。

実験結果

リサーチクエスチョン

• RQ1 事前にクラスタ数を指定しないで、高次元バイナリーデータを効果的にクラスタリングできるベイジアン非パラメトリックモデルは存在するか？
• RQ2 シミュレーションされた高次元バイナリーデータにおいて、本手法は従来のパラメトリックおよび非パラメトリック手法と比較して、クラスタリング精度に優れているか？
• RQ3 文書、手書き数字、がん変異プロファイルなどの実世界データセットにおいて、本手法は意味のあるグループ化を効果的に特定できるか？
• RQ4 シミュレーテッド・アニーリングの統合により、高次元バイナリーデータ設定における収束性とクラスタリング性能が向上するか？

主な発見

• シミュレーション研究において、本手法は全テスト対象クラスタリングアルゴリズムを上回り、真のクラスタ構造を特定する精度が優れていた。
• キーワードの有無／無しデータに基づき、文書を意味的トピックに基づいてグループ化し、一貫性のあるトピッククラスタを明らかにした。
• 筆跡特徴に基づき、手書き数字画像を正確にクラスタリングし、異なる筆跡パターンを区別できた。
• がん研究において、化学療法反応に関連する組織特異的および変異特異的パターンを同定した。
• アルゴリズムは自動的に最適なクラスタ数を特定し、過学習を回避し、ヒューリスティックなクラスタ選択手法への依存を低減した。
• シミュレーテッド・アニーリングの導入により、高次元設定におけるMCMCサンプリングプロセスの収束性と安定性が顕著に向上した。