[論文レビュー] A Framework for Deep Constrained Clustering -- Algorithms and Advances

Hongjing Zhang, Sugato Basu+1 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Clustering Algorithms Research参考文献 32被引用数 10

ひとこと要約

本稿では、従来のペアワイズ制約を超えて三つ組制約、インスタンス難易度、クラスターサイズ制約を含む、制約付きクラスタリングのためのディープラーニングフレームワークを提案する。これは、表現とクラスタリングを同時に最適化するエンド・ツー・エンド学習を可能にする。長年の問題であった個々の制約集合による性能低下を克服し、MNISTおよびFashion-MNISTにおいてベースライン手法よりも優れたクラスタリング精度を達成する。

ABSTRACT

The area of constrained clustering has been extensively explored by researchers and used by practitioners. Constrained clustering formulations exist for popular algorithms such as k-means, mixture models, and spectral clustering but have several limitations. A fundamental strength of deep learning is its flexibility, and here we explore a deep learning framework for constrained clustering and in particular explore how it can extend the field of constrained clustering. We show that our framework can not only handle standard together/apart constraints (without the well documented negative effects reported earlier) generated from labeled side information but more complex constraints generated from new types of side information such as continuous values and high-level domain knowledge.

研究の動機と目的

• 従来の制約付きクラスタリングにおける限界、すなわち単純なペアワイズ制約への依存と、個々の制約集合による性能低下を是正すること。
• 新たな制約タイプを用いて、連続値やドメインレベルの知識を含むより豊かなサイド情報のサポートを可能にする、制約付きクラスタリングの拡張。
• ディープラーニングのスケーラビリティとエンド・ツー・エンドトレーニングを活用し、制約の品質に頑健である一方でクラスタリング性能を向上させること。
• 同じ特徴表現で初期化された場合でも、ディープ制約付きクラスタリングが古典的手法を上回ることを示すこと。

提案手法

• 微分可能クラスタリング目的関数を用いて、ディープ表現とクラスタリング割り当てを同時に学習するディープクラスタリングフレームワークを提案。
• 4種類の制約タイプを導入：ペアワイズ（must-link/cannot-link）、三つ組（類似度に基づく）、インスタンスレベルの難易度、およびグローバルクラスターサイズ制約。
• 低次元で分離可能な表現を学習するため、変分オートエンコーダー（VAE）を用い、その後にソフト割り当て確率を持つクラスタリングヘッドを配置。
• 制約を重み付きマージンベースの目的関数に組み込み、インスタンス間の正しい相対距離を促進する。
• エンコーダー、クラスタリング割り当て、制約の満たし方を同時に最適化するエンド・ツー・エンドバックプロパゲーションを採用。
• 自己学習戦略を適用し、現在の予測に基づいて反復的に擬似ラベルを更新する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングを用いて、ペアワイズ制約を超えるより柔軟でスケーラブルな制約付きクラスタリングフレームワークを構築できるか？
• RQ2 ディープクラスタリングにおけるエンド・ツー・エンド学習は、個々の制約集合に起因する性能低下を解消できるか？
• RQ3 連続的なサイド情報から導出される三つ組制約は、標準的なペアワイズ制約と比較してクラスタリング性能を向上させられるか？
• RQ4 グローバルクラスターサイズ制約は、バランスの取れたクラスタ割り当てを実現するためにディープクラスタリングに効果的に統合できるか？

主な発見

• 提案されたディープ制約付きクラスタリングフレームワークは、MNISTにおいて高いクラスタリング精度（Acc: 0.91）と正規化相互情報量（NMI: 0.86）を達成し、ベースライン手法を上回る。
• Fashion-MNISTでは、グローバルサイズ制約を用いた場合、Acc: 0.57およびNMI: 0.59を達成し、一貫した性能向上を示した。
• 三つ組制約は、連続的な類似度埋め込みから導出され、制約数が増えるほど一貫してクラスタリング性能が向上するが、ペアワイズ制約に比べてわずかに低い向上効果にとどまる。
• 本フレームワークは、一貫性のないまたはノイズの多い制約の悪影響を効果的に緩和し、個々の制約集合が最適でない場合でも性能を維持または向上させる。
• 学習済み埋め込みの可視化から、本手法は制約の満たし率が高く、明確に分離された一貫性のあるクラスタを生成しているのに対し、従来手法は制約の不整合に起因して性能に悪影響を受けることが明らかになった。
• 非ディープベースラインと同一の特徴表現で初期化された場合でも、ディープフレームワークは適応し、性能を向上させるため、エンド・ツー・エンド学習の利点が示された。