[論文レビュー] Deep Learning with Nonparametric Clustering

Gang Chen|arXiv (Cornell University)|Jan 13, 2015

Bayesian Methods and Mixture Models参考文献 22被引用数 60

ひとこと要約

本稿では、非パrametric最大マージンクラスタリング（NMMC）を組み合わせた深層信念ネットワーク（DBN）を提案する。これは、深層特徴学習と判別的でオンラインかつモデルの複雑さに適応するクラスタリングを統合した非教師ありクラスタリング手法である。本手法は、表現学習のためのDBNを事前学習し、自動的なクラスタ数推定が可能な効率的でスケーラブルなクラスタリングを実現するNMMCを適用し、その後ネットワークを微調整することで、20 Newsgroupsなどのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Clustering is an essential problem in machine learning and data mining. One vital factor that impacts clustering performance is how to learn or design the data representation (or features). Fortunately, recent advances in deep learning can learn unsupervised features effectively, and have yielded state of the art performance in many classification problems, such as character recognition, object recognition and document categorization. However, little attention has been paid to the potential of deep learning for unsupervised clustering problems. In this paper, we propose a deep belief network with nonparametric clustering. As an unsupervised method, our model first leverages the advantages of deep learning for feature representation and dimension reduction. Then, it performs nonparametric clustering under a maximum margin framework -- a discriminative clustering model and can be trained online efficiently in the code space. Lastly model parameters are refined in the deep belief network. Thus, this model can learn features for clustering and infer model complexity in an unified framework. The experimental results show the advantage of our approach over competitive baselines.

研究の動機と目的

• 高次元データにおける特徴表現の質が低いかノイズが多い場合に生じる非教師ありクラスタリング性能の低下という課題に対処する。
• 深層学習の表現学習能力と非パrametricクラスタリングを統合し、事前に指定されないモデルの複雑さ（クラスタ数）を自動的に推定できるようにする。
• 従来の非パrametricベイジアンモデル（DPMなど）に伴う計算負荷を回避する、判別的でオンラインかつスケーラブルなクラスタリング手法を開発する。
• 特徴学習、クラスタリング、モデルの最適化を統合したエンドツーエンドのフレームワークを構築し、テストデータに対する一般化性能を向上させる。

提案手法

• 入力の高次元データから階層的かつ低次元の表現を抽出するために、グリーディ学習を用いて層別に深層信念ネットワーク（DBN）を事前学習する。
• 学習済みコード空間において非パrametric最大マージンクラスタリング（NMMC）を適用し、マージンを最大化する判別的クラスタリングを実現する。これにより、オンライン更新と自動的なクラスタ数の同定が可能になる。
• クラスタラベルを潜在変数とみなして最大マージンフレームワークを用い、繰り返しクラスタリング重みを最適化することで、判別性能を向上させる。
• バックプロパゲーションを用いてDBNのパラメータ（特に最上位層の重み行列とクラスタリング重み）を微調整し、クラスタリングのフィードバックに基づいて特徴表現を精緻化する。
• NMMCのオンライン性を活かして、大規模データセットへの効率的かつスケーラブルなスケーリングを実現し、再学習を必要とせずにデータの増加に対応できる。
• 深層学習の長所（非線形特徴抽象化）と非パrametricベイジアンモデルの長所（自動的なモデル複雑さ選択）を統合した、一貫性があり学習可能なパイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 判別的で非パrametricなクラスタリング手法と組み合わせた深層特徴学習は、非教師ありクラスタリング性能を向上させ得るか？
• RQ2 NMMCのような非パrametricクラスタリング手法は、エンドツーエンド学習が可能な深層学習フレームワークに効率的に統合可能か？
• RQ3 DBNとNMMCを統合することで、標準的なクラスタリングベースラインと比較してテストデータ上でより良い一般化性能を達成できるか？
• RQ4 事前にクラスタ数を指定することなく、本手法はモデルの複雑さ（すなわちクラスタ数）をどのように処理するか？
• RQ5 微調整ステップは、深層ネットワークアーキテクチャにおけるクラスタリング性能をどの程度向上させるか？

主な発見

• 提案されたDBN+NMMCモデルは、20 Newsgroupsデータセットのテストセットでランダムインデックス（Rand Index）が0.065 ± 0.025を達成し、DPMを上回り、k-meansやGMMと同等またはそれ以上のテスト性能を示した。
• 微調整によりクラスタリング精度が顕著に向上し、テストセットのF値が事前学習のみの状態（0.110 ± 0.012）から微調整後（0.141 ± 0.020）に上昇した。これは、パラメータの有効な精緻化を示している。
• 同じDBNベースの特徴学習環境下で、NMMCはDPMを一貫して上回った。1層DBNではテストセットでF値が12%高い（0.141 vs. 0.126）、2層DBNでは15%高い（0.141 vs. 0.123）結果を示した。
• 特に次元数が増加する際、NMMCのオンライン更新メカニズムのおかげで、DPMよりも計算量の面で効率的であることが分かった。
• k-means や GMM（K=20 クラスタを事前に知っている必要がある）といった教師ありベースラインと比較しても、完全に非教師ありであるにもかかわらず競争力のある性能を発揮した。
• 微調整済みのDBN+NMMCモデルは、事前学習のみのモデルよりも一般化性能が優れており、エンドツーエンド学習プロセスが特徴学習とクラスタリングの目的を効果的に一致させていることを示している。