[論文レビュー] Deep Discriminative Latent Space for Clustering

Elad Tzoreff, О С Коган+1 more|arXiv (Cornell University)|May 28, 2018

Image and Signal Denoising Methods参考文献 13被引用数 12

ひとこと要約

本稿では、クラスタリング指向の潜在空間を学習するために、自己符号化器の事前学習段階で判別的ペアワイズ損失を最適化する、新しい深層クラスタリングフレームワークを提案する。小規模なネットワークを用いて50エポック未満でMNISTで97.4%の精度を達成した。本手法は、訓練の初期段階でクラスタ間の類似度を優先的に低くすることで、従来手法と比較して収束が速く、より優れた精度を達成する。

ABSTRACT

Clustering is one of the most fundamental tasks in data analysis and machine learning. It is central to many data-driven applications that aim to separate the data into groups with similar patterns. Moreover, clustering is a complex procedure that is affected significantly by the choice of the data representation method. Recent research has demonstrated encouraging clustering results by learning effectively these representations. In most of these works a deep auto-encoder is initially pre-trained to minimize a reconstruction loss, and then jointly optimized with clustering centroids in order to improve the clustering objective. Those works focus mainly on the clustering phase of the procedure, while not utilizing the potential benefit out of the initial phase. In this paper we propose to optimize an auto-encoder with respect to a discriminative pairwise loss function during the auto-encoder pre-training phase. We demonstrate the high accuracy obtained by the proposed method as well as its rapid convergence (e.g. reaching above 92% accuracy on MNIST during the pre-training phase, in less than 50 epochs), even with small networks.

研究の動機と目的

• 再構築損失に依存するのではなく、クラスタリングに特化した目的関数を用いて自己符号化器の事前学習段階を最適化することで、クラスタリング性能を向上させること。
• 再構築損失の限界を解決すること。再構築損失は、類似したデータをグループ化し、相違したデータを分離するというクラスタリングの目的と一致しない。
• 初期段階から判別的潜在空間を学習することで、収束を速め、クラスタリング精度を向上させること。
• 表現学習とクラスタリングを統合的に最適化するフレームワークを構築し、全訓練過程で判別的性質を維持すること。
• 判別的損失で事前学習された小規模で効率的なネットワークが、最先端のクラスタリング精度を達成できることを示すこと。

提案手法

• 本手法は、ミニバッチ内のすべてのデータポイントペア間の類似度の重み付き和を最小化するペアワイズ判別的損失関数を導入し、クラスタ間の類似度を低く抑えるように促進する。
• この判別的損失は、自己符号化器の事前学習段階でエンコーダーのパラメータを最適化するために使用され、標準の再構築損失の置き換えまたは補完として機能する。
• バランスの取れたデータセットを仮定することで、損失関数の正当性を裏付ける。この仮定のもとで、全体の類似度の最小化はクラスタリングに効果的である。
• クラスタリング段階では、判別的損失とクラスタリング目的（例：重心へのソフト代入）を同時に最適化し、潜在空間の判別的性質を維持する。
• 反復的最適化スキームを採用：まずエンコーダーを更新し、次にクラスタ割り当てを更新する。内部および外部類似度のための適応的正則化強度を用いる。
• 本手法は、MNIST、COIL-20、COIL-100に適用され、それぞれボトルネック次元が10、150、500の小規模なネットワークアーキテクチャが使用された。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器の事前学習段階でペアワイズ判別的損失関数を用いることで、再構築ベースの事前学習と比較してクラスタリング精度が向上するか？
• RQ2 潜在空間において初期段階からクラスタ間の類似度を最適化することで、収束が速くなり、最終的なクラスタリング性能が向上するか？
• RQ3 判別的目的関数で事前学習された小規模で効率的なニューラルネットワークが、最先端のクラスタリング精度を達成できるか？
• RQ4 DEC、DBC、JULE、DSC-Netなどの既存の深層クラスタリング手法と比較して、本手法は精度とモデルサイズの点でどのように差をつけるか？
• RQ5 訓練全般にわたり潜在空間の判別的性質を維持することで、クラスタリングのロバスト性と一般化性能がどの程度向上するか？

主な発見

• 本手法は、MNISTデータセットで最終段階で97.4%のクラスタリング精度を達成した。COIL-20では92.3%、COIL-100では90.3%の精度を達成した。
• 事前学習段階のみで、50エポック未満でMNISTで92.3%以上の精度に到達した。収束が著しく速いことを示している。
• MNISTおよびCOIL-20では最先端の性能を達成し、DCC、DSC-Net、DEPICTなどの手法を上回った。
• COIL-100では90.3%の精度を達成したが、JULEの91.1%にはわずかに劣ったが、モデルサイズは著しく小さい（12.5Kパラメータ vs. DSC-Netの100万以上）。
• 小規模なネットワーク（COIL-20で約7.5K、COIL-100で約12.5Kパラメータ）でも高い性能を維持でき、スケーラビリティと効率性を示した。
• t-SNEを用いた可視化により、事前学習段階の終了時点で明確なクラスタ分離が確認され、効果的な判別的学習が行われたことが示された。