[論文レビュー] Deep Transductive Semi-supervised Maximum Margin Clustering

Gang Chen|arXiv (Cornell University)|Jan 26, 2015

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 18

ひとこと要約

本稿では、スタックド制限ボルツマンマシンを介して非線形表現を共同で学習し、ペアワイズ制約を用いたラベル付きおよびラベルなしデータを用いて最大マージンフレームワークを通じてクラスタリングを最適化する、深層トランスductive半教師あり最大マージンクラスタリング手法を提案する。この手法は、MNISTおよびCOILデータセットにおいて、最先端の手法を顕著に上回り、特に限定的な監視情報下でも優れたクラスタリング精度と頑健性を示している。

ABSTRACT

Semi-supervised clustering is an very important topic in machine learning and computer vision. The key challenge of this problem is how to learn a metric, such that the instances sharing the same label are more likely close to each other on the embedded space. However, little attention has been paid to learn better representations when the data lie on non-linear manifold. Fortunately, deep learning has led to great success on feature learning recently. Inspired by the advances of deep learning, we propose a deep transductive semi-supervised maximum margin clustering approach. More specifically, given pairwise constraints, we exploit both labeled and unlabeled data to learn a non-linear mapping under maximum margin framework for clustering analysis. Thus, our model unifies transductive learning, feature learning and maximum margin techniques in the semi-supervised clustering framework. We pretrain the deep network structure with restricted Boltzmann machines (RBMs) layer by layer greedily, and optimize our objective function with gradient descent. By checking the most violated constraints, our approach updates the model parameters through error backpropagation, in which deep features are learned automatically. The experimental results shows that our model is significantly better than the state of the art on semi-supervised clustering.

研究の動機と目的

• 非線形多様体のクラスタリングにおける線形メトリック学習の限界を、深層特徴表現を活用することで克服すること。
• トランスductive学習、深層特徴学習、最大マージン技術を、半教師ありクラスタリングフレームワーク内で統合すること。
• ペアワイズ制約を用いて、データ表現とクラスタリング重みを共同で最適化することで、クラスタリング性能を向上させること。
• 制約の数やクラスタ数が変化する条件下での、トランスductive学習の半教師ありクラスタリングにおける有効性を調査すること。

提案手法

• 階層的非線形特徴を学習するために、グリーディで層別的なアプローチによりスタックド制限ボルツマンマシン（RBMs）を用いて深層ニューラルネットワークを事前学習する。
• 誤差逆伝播を用いて、最も違反が激しいペアワイズ制約に基づき、勾配降下法によりクラスタリング目的関数を最適化する。
• 未ラベルデータを最適化プロセスに統合することで、クラスタ割り当てを精緻化するトランスductive学習を統合する。
• 異なるクラスタ間の大きなマージンを強制するとともに、must-linkおよびcannot-link制約を尊重する最大マージンフレームワークを採用する。
• 繰り返し、データ表現とモデル重みの最適化を交互に実行する、反復的で共同最適化の枠組みを採用する。
• ペアワイズ制約（must-linkおよびcannot-link）を監視信号として用い、非線形埋め込みおよびクラスタ境界の学習をガイドする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを半教師ありペアワイズ制約と組み合わせることで、非線形多様体上でのクラスタリング性能が向上するか？
• RQ2 ペアワイズ制約の数が限られている状況で、トランスductive学習はクラスタリング精度をどのように向上させるか？
• RQ3 全体の性能向上に寄与する主な要因として、深層特徴学習とトランスductive学習の相対的な貢献度は何か？
• RQ4 提案手法は、ベンチマークデータセットにおいて、既存の最先端の半教師ありクラスタリング手法を上回るか？

主な発見

• 提案手法は、MNISTおよびCOIL-20/100データセットにおいて、最先端の手法と比較して顕著に優れたクラスタリング精度とランダムインデックスを達成した。
• ペアワイズ制約の数が少ない状況では、トランスductive学習が顕著な性能向上をもたらしたが、特にクラスタ数が少ないデータセットで顕著であった。
• 100クラスのCOIL-100データセットでは、トランスductive学習による改善は限定的であり、クラスタの複雑性が高くなるとその有効性が低下することが示唆された。
• COIL-100における性能向上の主な要因は、トランスductive原理ではなく深層特徴学習に起因しており、高次元のクラスタ空間では大きなマージンを維持することが困難であるためである。
• 制約が疎な状況でも、複数のデータセットにわたり、モデルは頑健で安定した性能を示し、表現とクラスタリングの共同最適化の価値を強力に示唆した。