[論文レビュー] N2D: (Not Too) Deep Clustering via Clustering the Local Manifold of an Autoencoded Embedding

Ryan McConville, Raúl Santos‐Rodríguez+2 more|arXiv (Cornell University)|Aug 16, 2019

Time Series Analysis and Forecasting被引用数 12

ひとこと要約

N2Dは、自己符号化された埋め込み上でのUMAPベースの局所多様体学習に深層クラスタリングネットワークを置き換える軽量な深層クラスタリングフレームワークを提案する。その後に浅いクラスタリングを適用する。この手法は、画像および時系列データセットにおいて最先端または競争力のある性能を達成しており、Fashion-MNISTでは最大8ポイント、HARでは最大15ポイントの性能向上を達成している。

ABSTRACT

Deep clustering has increasingly been demonstrating superiority over conventional shallow clustering algorithms. Deep clustering algorithms usually combine representation learning with deep neural networks to achieve this performance, typically optimizing a clustering and non-clustering loss. In such cases, an autoencoder is typically connected with a clustering network, and the final clustering is jointly learned by both the autoencoder and clustering network. Instead, we propose to learn an autoencoded embedding and then search this further for the underlying manifold. For simplicity, we then cluster this with a shallow clustering algorithm, rather than a deeper network. We study a number of local and global manifold learning methods on both the raw data and autoencoded embedding, concluding that UMAP in our framework is best able to find the most clusterable manifold in the embedding, suggesting local manifold learning on an autoencoded embedding is effective for discovering higher quality discovering clusters. We quantitatively show across a range of image and time-series datasets that our method has competitive performance against the latest deep clustering algorithms, including out-performing current state-of-the-art on several. We postulate that these results show a promising research direction for deep clustering. The code can be found at https://github.com/rymc/n2d

研究の動機と目的

• 深層クラスタリングネットワークを自己符号化表現上の多様体学習に置き換えることで、深層クラスタリングの複雑さを低減すること。
• 自己符号化された埋め込みの局所的多様体を学習することで、直接的なクラスタリングと比較してクラスタビリティが向上するかどうかを調査すること。
• さまざまな多様体学習手法（例：UMAP、t-SNE、Isomap、PCA）が、生データおよび自己符号化データの両方に対して果たす効果を評価すること。
• 自己符号化された埋め込みをUMAPで埋め込んだ上で浅いクラスタリングアルゴリズムを適用することで、最先端の深層クラスタリングモデルを上回ることを示すこと。
• データ拡張の有無に関わらず、画像および時系列データを含む多様なデータセットにおいて、手法の有効性を検証すること。

提案手法

• 生の入力データの圧縮された低次元表現を学習するためにオートエンコーダーを訓練する。
• 学習された自己符号化埋め込みに対してUMAPを適用し、距離を保存し、クラスタビリティの高い多様体を発見する。
• UMAPで埋め込まれた空間上で浅いクラスタリングアルゴリズム（例：GMM）を用いて最終的なクラスタラベルを割り当てる。
• 生データおよび自己符号化データの両方に対して多様体学習手法（PCA、Isomap、t-SNE、UMAP）を評価し、最も効果的な手法を特定する。
• 局所構造の保存とグローバルトポロジーの両立のバランスが優れていることから、UMAPを多様体学習器として選択することでパイプラインを最適化する。
• 再構成損失を用いたオートエンコーダーのエンドツーエンド訓練を実施し、UMAPおよびクラスタリングは非微分可能だが効果的なパイプラインとして後処理で適用する。

実験結果

リサーチクエスチョン

• RQ1 自己符号化された埋め込み上での多様体学習ステップに深層クラスタリングネットワークを置き換えることで、クラスタリング性能が向上するか？
• RQ2 局所的またはグローバルな多様体学習手法のうち、自己符号化された埋め込みにおけるクラスタビリティの高い構造を最もよく保存するのはどれか？
• RQ3 局所的多様体学習でありながらグローバル構造を保存するUMAPは、他の手法と比較して優れたクラスタリング結果をもたらすか？
• RQ4 N2Dは、画像データに限らない多様なデータセット（非画像データを含む）において、最先端の深層クラスタリングモデルと比較してどのように性能を発揮するか？
• RQ5 データ拡張を除去した場合、N2Dの性能向上効果は依然として維持されるか？

主な発見

• Fashion-MNISTデータセットでは、N2Dが最高の精度を達成し、次に優れた手法（ASPC-DA）を5ポイントの絶対的差で上回った。
• HAR時系列データセットでは、N2Dは最も近い競合手法（IDEC）に対して15ポイントの精度向上を達成し、非画像データにおいても優れた性能を示した。
• MNIST-testでは、N2Dは上位3位以内にランクされ、最高精度を記録した手法（JULE）と1ポイント以内の差で、ASPC-DAより2ポイント劣ったが、高い性能を維持した。
• ASPC-DAのデータ拡張を除去した場合、その性能は著しく低下した（例：MNISTでは0.924に低下、N2Dは0.988）ことから、N2Dのロバスト性が顕著に示された。
• N2Dは、MNISTおよびFashion-MNISTを約18分でクラスタリングし、他のデータセットは2〜4分で処理でき、高い計算効率を示した。
• UMAPが最も効果的な多様体学習手法であると判明し、PCA、t-SNE、Isomapと比較して、自己符号化空間におけるクラスタビリティの高い構造を顕著に優れて保存していた。