[論文レビュー] Autoencoded UMAP-Enhanced Clustering for Unsupervised Learning

Malihehsadat Chavooshi, A. Mamonov|ArXiv.org|Jan 13, 2025

Advanced Clustering Algorithms Research被引用数 3

ひとこと要約

本論文は、クラスタリングを促進するオートエンコーダとUMAPリファインメントを組み合わせた三段階の教師なしフレームワーク“AUEC”を提案し、MNISTのクラスタリング精度を高達成。

ABSTRACT

We propose a novel approach to unsupervised learning by constructing a non-linear embedding of the data into a low-dimensional space followed by any conventional clustering algorithm. The embedding promotes clusterability of the data and is comprised of two mappings: the encoder of an autoencoder neural network and the output of UMAP algorithm. The autoencoder is trained with a composite loss function that incorporates both a conventional data reconstruction as a regularization component and a clustering-promoting component built using the spectral graph theory. The two embeddings and the subsequent clustering are integrated into a three-stage unsupervised learning framework, referred to as Autoencoded UMAP-Enhanced Clustering (AUEC). When applied to MNIST data, AUEC significantly outperforms the state-of-the-art techniques in terms of clustering accuracy.

研究の動機と目的

• 非線形埋め込みを用いてデータのトポロジーを明らかにすることで、クラスタリングの改善を動機づける。
• クラスタリングに適した埋め込みを共同で学習し、それをUMAPでリファインする三段階フレームワークを開発する。
• 特徴学習と最終クラスタリングステップを分離することで、下流クラスタリングの柔軟性を確保する。

提案手法

• Stage Iは、クラスタリング促進成分と再構成正則化項を結合したジョイント損失でオートエンコーダを訓練する。
• クラスタリング損失は固有スペクトルギャップ（RSG）を用いたスペクトルグラフ理論を利用し、クラスタ可能性を促進する。
• Stage IIは圧縮表現にUMAPを適用して、 refinedな低次元表現を得る。
• Stage IIIは refinedな埋め込みに対して従来型クラスタリングアルゴリズム（例：K-meansやDBSCANの変種）を適用する。
• 安定した訓練のため、オートエンコーダは再構成損失のみで事前訓練しておくことができる。

実験結果

リサーチクエスチョン

• RQ1 オートエンコーダベースの埋め込みとUMAPリファインメントを組み合わせた三段階フレームワークは、従来のDR+クラスタリングパイプラインよりクラスタリング性能を改善できるか。
• RQ2 オートエンコーダ訓練においてスペクトルグラフ理論ベースのクラスタリング損失（RSG）を用いると、潜在空間のクラスタ性は向上するか。
• RQ3 AUECはMNISTにおいてACC、NMI、ARIの観点で最先端の教師なし手法と比較してどうか。
• RQ4 テストデータに適用する際、Stage Iを再訓練せずにAUECフレームワークは頑健か。
• RQ5 下流のクラスタリングアルゴリズムの選択（例：K-means vs. DBSCANベースの変種）は、AUECパイプラインから得られる利得に影響するか。

主な発見

Method	ACC	NMI	ARI
KMS	59.07%	50.95%	40.47%
UMAP+KMS	86.59%	85.73%	80.41%
DEC	84.30%	-	-
DCN	83%	81%	75%
FCAE-KMS	79.4%	69.8%	-
AUEC-MDBSCAN	97.52%	93.46%	94.64%

• AUECとMDBSCANは、MNISTの学習データでACC 97.52%、NMI 93.46%、ARI 94.64%を達成。
• UMAP+KMSだけではオートエンコーダなしの場合、MNISTでACC 86.59%、NMI 85.73%、ARI 80.41%であり、AUECからの大幅な利得を示す。
• Stage Iは、従来の再構成のみよりクラスタ性を改善するためにRSGに基づくクラスタ損失を使用する。
• Stage IIのUMAPリファインメントは、さらにクラスタ可能な構造を強化し、柔軟な下流クラスタリングを可能にする。
• 頑健性の調査では、Stage Iを再訓練せずにテストデータの指標は穏やかに低下（ACC約2%低下）するが依然として高く、実践的な頑健性を示す。
• DEC、DCN、FCAE-KMSと比較して、AUEC-MDBSCANが報告指標で著しく優れている。