[論文レビュー] Reducing over-clustering via the powered Chinese restaurant process

Jun Lu, Meng Li+1 more|arXiv (Cornell University)|Feb 15, 2018

Bayesian Methods and Mixture Models参考文献 22被引用数 10

ひとこと要約

本論文は、小さな不要なクラスタの生成をペナルティ化することで過剰クラスタリングを軽減する、修正された中国レストラン過程（pCRP）を提案する。新しいデータポイントを既存のテーブルまたは新しいテーブルに割り当てる確率を再重み付けするためのパワー・パラメータを導入することで、pCRPは、特にMNIST やオールドフェイスフル・ジーサーの大きなデータセットにおいて、標準的なCRPと比較してクラスタ数を顕著に削減する、よりスパarsaで解釈可能なクラスタリング結果を達成する。

ABSTRACT

Dirichlet process mixture (DPM) models tend to produce many small clusters regardless of whether they are needed to accurately characterize the data - this is particularly true for large data sets. However, interpretability, parsimony, data storage and communication costs all are hampered by having overly many clusters. We propose a powered Chinese restaurant process to limit this kind of problem and penalize over clustering. The method is illustrated using some simulation examples and data with large and small sample size including MNIST and the Old Faithful Geyser data.

研究の動機と目的

• 標本サイズが増加する際も続く過剰クラスタリングの問題に対処すること。
• 小さな重複するクラスタの数を制限することで、モデルの解釈性を向上させ、計算コストを低減し、データ保存および通信コストを削減すること。
• 複雑なギブス型プロセスの代替として、計算的に扱いやすく、無視できるクラスタの削除を促進する単純で効果的な手法を開発すること。
• 実世界のデータ環境において、標準的なCRP やオラクルベースのCRP を上回る性能を示す、実用的で交換可能でないクラスタリング手法を提供すること。

提案手法

• 既存のテーブルへの割り当て確率をパワー・パラメータ r を用いて再定義することで、中国レストラン過程（CRP）の確率的挙動を変更する、パワー・中国レストラン過程（pCRP）を提案する。
• 既存のテーブル k に参加する確率は、N_{k,-i}^r に比例し、新しいテーブルに参加する確率は、α × N^{1-r} に比例する。ここで r < 1 とすることで、新しいクラスタの生成を抑制する。
• モデルの適合度とクラスタのスパarsityのバランスを取るために、ホールドアウトされたデータサブセット上でパワー・パラメータ r を交差検証により推定する。
• 推論には、パワー・遷移確率に基づいてクラスタ割り当てを更新するギブズ・サンプラーを用いる。
• 本手法は、合成データおよび実世界のデータセット（MNIST ディジット（クラス1〜4）とオールドフェイスフル・ジーサーのデータ）に適用される。
• pCRP は、正準化相互情報量（NMI）、情報量の変動（VI）、平均および最大クラスタ数といった指標を用いて、標準的なCRP およびCRP-オラクル（チューニング済みCRP）と比較される。

実験結果

リサーチクエスチョン

• RQ1 中国レストラン過程に単純な修正を加えることで、柔軟性を損なわずにディリクレ過程混合モデルにおける過剰クラスタリングを軽減できるか？
• RQ2 既知のクラスタ構造を持つデータセットにおいて、パワー・CRP は標準的なCRP やCRP-オラクルに比べてどのように性能を発揮するか？
• RQ3 交差検証により推定されたパワー・パラメータ r は、大規模および中規模のサンプルサイズにおいて、より単純で解釈可能なクラスタリング結果をもたらすか？
• RQ4 MNIST やオールドフェイスフル・ジーサーの実世界データにおいて、pCRP は小さな偽のクラスタの生成をどの程度抑制できるか？

主な発見

• N=3000 のMNIST データにおいて、pCRP はクラスタの平均数をCRP の5.44から4.57に削減し、真の4桁構造に近づけ、最大クラスタ数も9から7に低下させた。
• N=272 のオールドフェイスフル・ジーサーのデータセットでは、CRP が4つの成分を生成したが、pCRP とCRP-オラクルの両方が真の2成分構造を回復させ、過剰クラスタリングの効果的な抑制を示した。
• N=2000 のシミュレーションでは、pCRP は正準化相互情報量（NMI）0.977 および情報量の変動（VI）0.072 を達成し、CRP（NMI=0.940、VI=0.205）を上回り、オラクル性能に近づいた。
• pCRP は、さまざまなサンプルサイズにおいて一貫したクラスタリング性能を維持しており、平均クラスタ数（K）はN=1000の4.08からN=3000の4.57にわずかに増加したが、CRP は4.58から5.44に急増した。
• MNIST ではパワー・パラメータ r が1.05、オールドフェイスフルでは1.11と推定され、わずかなパワー変換がクラスタの単純性を顕著に向上させることを示した。
• NMI が類似している場合でも、pCRP はVIが低く、クラスタ数の変動が小さく、CRP よりも優れたクラスタ品質と過剰適合の低減を示した。