[論文レビュー] Semi-supervised Clustering for Short Text via Deep Representation Learning

Zhiguo Wang, Haitao Mi+1 more|arXiv (Cornell University)|Feb 22, 2016

Topic Modeling参考文献 18被引用数 11

ひとこと要約

本論文は、少量のラベル付きデータを用いて、深層ニューラルネットワークの表現学習とk-meansクラスタリングを統合的に最適化する半教師ありクラスタリングフレームワークを提案する。ラベル付きデータを、クラスタ割り当て、重心更新、ニューラルネットワークの最適化を繰り返す統一された目的関数に統合することで、4つの短文データセットにおいて、教師なしおよび教師ありベースラインを大きく上回るクラスタリング性能を達成した。特に、半教師ありCNNバージョンは、最先端の結果を達成した。

ABSTRACT

In this work, we propose a semi-supervised method for short text clustering, where we represent texts as distributed vectors with neural networks, and use a small amount of labeled data to specify our intention for clustering. We design a novel objective to combine the representation learning process and the k-means clustering process together, and optimize the objective with both labeled data and unlabeled data iteratively until convergence through three steps: (1) assign each short text to its nearest centroid based on its representation from the current neural networks; (2) re-estimate the cluster centroids based on cluster assignments from step (1); (3) update neural networks according to the objective by keeping centroids and cluster assignments fixed. Experimental results on four datasets show that our method works significantly better than several other text clustering methods.

研究の動機と目的

• 教師なし手法を用いた短文クラスタリングにおける語彙的スパarsity（希少性）と意図の明確でない点を解決すること。
• 制限されたラベル付きデータをクラスタリングプロセスに統合し、ユーザーが定義した意図に従ってクラスタ形成をガイドすること。
• 深層表現学習とクラスタリングを1つのエンドツーエンド最適化フレームワークに統合すること。
• ラベル付きデータとラベルなしデータを統合学習プロセスで活用することで、短文のクラスタリング品質を向上させること。
• 深層ニューラルネットワーク（CNN/LSTM）が、従来のベクトル表現（TF-IDF、bag-of-words）よりも、半教師あり短文クラスタリングにおいて優れていることを示すこと。

提案手法

• 事前学習済み埋め込みを用いて、各短文を密度の高い単語ベクトルの系列として表現する。
• 2種類の深層ニューラルネットワークアーキテクチャ（CNNとLSTM）を採用し、単語ベクトル系列から固定長のテキスト表現を学習する。
• k-meansクラスタリング損失とラベル付きデータからのペナルティ項を組み合わせた統合目的関数を定義する。
• 3段階の反復的最適化を実行する：（1）現在のニューラル表現に基づいてテキストを最近傍の重心に割り当てる、（2）割り当て結果から重心を再推定する、（3）重心と割り当てを固定したまま、ニューラルネットワークのパラメータを更新する。
• ラベル付きデータを用いてクラスタリング目的関数を制約し、学習された表現がユーザー指定のクラスタ意図と整合するようにする。
• 収束するまで、ラベル付きデータとラベルなしデータを交互に用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層表現学習とクラスタリングの統合的最適化は、従来の教師なし手法を上回る短文クラスタリング性能を達成できるか？
• RQ2 少量のラベル付きデータをクラスタリング目的関数に統合することで、短文におけるクラスタ形成を効果的にガイドできるか？
• RQ3 深層ニューラルネットワーク（CNN/LSTM）をテキストエンコーダーとして用いることで、従来のベクトル表現（例：TF-IDF、bag-of-words）を上回る性能が得られるか？
• RQ4 提案手法は、ベースラインクラスタリングシステムと比較して、どの程度クラスタ境界の明確さと分離性が向上するか？
• RQ5 表現学習とクラスタリングを分離する既存の半教師ありクラスタリング手法と比較して、本フレームワークはより効果的か？

主な発見

• CNN表現を用いた本手法（semi-cnn）は、評価された4つのすべてのデータセットで最高の性能を達成した。
• bag-of-wordsやTF-IDF表現を用いた教師なしベースラインと比較して、顕著に優れた性能を示した。
• 深層学習表現（CNN/LSTM）を用いた半教師ありアプローチは、メトリクス学習に基づく教師あり手法を上回り、非線形表現学習の利点を示した。
• 可視化結果から、本手法を用いることで、教師なしまたは単純な表現ベース手法と比較して、クラスタ境界がはるかに明確になった。
• 反復的最適化プロセスは収束し、特にラベル付きデータがクラスタリング目的関数をガイドすることで、より一貫性があり意図に整合したクラスタが得られた。
• 本手法は、質問系データや製品レビューなど多様な短文データセットに対して、強固な性能を示した。