[論文レビュー] Neural network-based clustering using pairwise constraints

Yen-Chang Hsu, Zsolt Kira|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications参考文献 32被引用数 55

ひとこと要約

本稿では、類似/非類似ペair（類似ペair/非類似ペア）という弱い教師信号のみを用いて、特徴埋め込みの学習とクラスタリングを同時に実行するエンド・ツー・エンドのニューラルネットワークフレームワークを提案する。対照的KLダイバージェンス損失を採用することで、明示的なクラスタ中心や事前定義された距離メトリクスを必要とせず、直接クラスタ割り当てを出力する。k-meansを上回る性能を達成し、完全ラベル分類と同等の結果を示すが、クラスタ数が過剰に指定されても優れた性能を発揮する。

ABSTRACT

This paper presents a neural network-based end-to-end clustering framework. We design a novel strategy to utilize the contrastive criteria for pushing data-forming clusters directly from raw data, in addition to learning a feature embedding suitable for such clustering. The network is trained with weak labels, specifically partial pairwise relationships between data instances. The cluster assignments and their probabilities are then obtained at the output layer by feed-forwarding the data. The framework has the interesting characteristic that no cluster centers need to be explicitly specified, thus the resulting cluster distribution is purely data-driven and no distance metrics need to be predefined. The experiments show that the proposed approach beats the conventional two-stage method (feature embedding with k-means) by a significant margin. It also compares favorably to the performance of the standard cross entropy loss for classification. Robustness analysis also shows that the method is largely insensitive to the number of clusters. Specifically, we show that the number of dominant clusters is close to the true number of clusters even when a large k is used for clustering.

研究の動機と目的

• 従来の2段階パイプラインに依存せずに、特徴表現とクラスタリングを同時に学習するエンド・ツー・エンドのディープラーニングフレームワークの開発。
• クラスタ割り当てをネットワークパラメータによるデータ駆動型アプローチにすることで、明示的なクラスタ中心や事前定義された距離メトリクスの必要性を排除する。
• ペアワイズ制約（類似/非類似ペア）という弱い教師信号を活用してネットワークを学習させ、半教師ありおよび無教師クラスタリングを可能にする。
• 指定されたクラスタ数（k）が過剰に指定されても、真の主要クラスタ数を自然に同定できることを示す、そのロバストネスの評価。
• 完全ラベルを用いて上限性能を評価するため、提案された対照的損失に基づくクラスタリングと標準的なクロスエントロピー分類損失の性能を比較する。

提案手法

• 対照的KLダイバージェンス損失関数を用いた深層ニューラルネットワークを採用し、類似ペアの予測クラスタ確率間の統計的距離を最小化するとともに、非類似ペアでは最大化する。
• 空間的／時間的関係、近傍仮定、またはクラウドソーシングによるアノテーションから得られるペアワイズ制約（弱いラベル）のみを用いてエンド・ツー・エンドで学習する。
• クラスタ割り当てとその確率は、k-meansなどの後処理を必要とせず、順伝播による出力層から直接得られる。
• 明示的なクラスタ中心や距離メトリクスを避けるが、代わりにネットワークが学習した非線形変換とパラメータから、暗黙的にクラスタ割り当てが生じる。
• アーキテクチャはモジュール型かつ柔軟で、さまざまなネットワーク構造、レイヤー形式、最適化戦略との統合が可能である。
• 分類との比較のため、出力ノード数を真のクラス数に設定し、最適割り当てによりクラスタラベルを割り当て、直接的な正確性比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生データからペアワイズ制約のみを用いて、2段階処理に依存せずにエンド・ツー・エンドでクラスタリングを実行できるディープニューラルネットワークは構築可能か？
• RQ2 完全ラベルが利用可能な状況で、提案された対照的損失関数は標準的なクロスエントロピー損失と比べてクラスタリング精度でどのように差を示すか？
• RQ3 クラスタ数（k）が過剰に指定された場合、この手法はどの程度ロバストであり、真の潜在的クラスタ数を自然に同定できるか？
• RQ4 完全ラベルではなくペアワイズ関係のみを用いる場合、このフレームワークは教師あり分類と同等の性能を達成できるか？
• RQ5 同じ弱い教師信号のもとで、従来の2段階的手法（例：シアン・ネットワーク＋k-means）と比較して、この手法はどのように性能を発揮するか？

主な発見

• 提案手法は、従来の2段階的手法（シアン・ネットワークによる特徴埋め込み＋k-meansクラスタリング）を著しく上回るクラスタリング性能を示した。
• 真のラベルから得られる完全なペアワイズ制約を用いて学習した場合、対照的損失ベースのクラスタリングはクロスエントロピー分類と比べてわずかに高く、または同等の正確性を達成した。特にMNISTやCIFAR-10といった大規模データセットでは顕著であった。
• MNISTでは1クラスあたり6サンプルでの学習でも、クラスタリング手法は79.4％のテスト正確度を達成したのに対し、分類手法は82.4％であったが、少数の学習サンプルでも依然として高い性能を示した。
• 過剰に指定されたkに対して強いロバストネスを示した：kが大きくても、ネットワークは大部分のデータを約10個の主要クラスタに自然に割り当て、真のクラスタ数に非常に近い結果を出した。
• k-meansベースのベースラインでは、kを増加させると1つのクラスが複数の小さなクラスタに分割される傾向にあったが、提案手法はより一貫性のあるクラスタ構造を学習することで、この問題を回避した。
• 極めて少ない学習サンプル（例：CIFAR-10では1クラスあたり5サンプル）でも有効であることが示された。対照的損失を用いた場合、22.0％の正確度を達成し、低データ環境下でも実用的であることを示した。