[論文レビュー] Generalized Clustering and Multi-Manifold Learning with Geometric Structure Preservation

Lirong Wu, Zicheng Liu+4 more|arXiv (Cornell University)|Sep 21, 2020

Gait Recognition and Analysis被引用数 4

ひとこと要約

本稿では、局所的なマニフォールド内およびグローバルなマニフォールド間の幾何構造を両方保持する、一般化クラスタリングとマルチマニフォールド学習の統合フレームワークであるGCMLを提案する。同フレームワークは、等長損失およびランク損失と併せてクラスタリング損失を共同最適化することで、スプライス、テキスト、生物学的データを含む多様なデータタイプにおいて、最先端のクラスタリング性能と高精度な潜在空間幾何構造の両方を達成する。

ABSTRACT

Though manifold-based clustering has become a popular research topic, we observe that one important factor has been omitted by these works, namely that the defined clustering loss may corrupt the local and global structure of the latent space. In this paper, we propose a novel Generalized Clustering and Multi-manifold Learning (GCML) framework with geometric structure preservation for generalized data, i.e., not limited to 2-D image data and has a wide range of applications in speech, text, and biology domains. In the proposed framework, manifold clustering is done in the latent space guided by a clustering loss. To overcome the problem that the clustering-oriented loss may deteriorate the geometric structure of the latent space, an isometric loss is proposed for preserving intra-manifold structure locally and a ranking loss for inter-manifold structure globally. Extensive experimental results have shown that GCML exhibits superior performance to counterparts in terms of qualitative visualizations and quantitative metrics, which demonstrates the effectiveness of preserving geometric structure.

研究の動機と目的

• 既存のマニフォールドベースのクラスタリング手法が、クラスタリング損失を用いているにもかかわらず、潜在空間における幾何構造の保持に失敗するというギャップを解消すること。
• 局所的およびグローバルな幾何構造の明示的保持を伴い、一般化クラスタリングとマルチマニフォールド学習を同時に実行する統合フレームワークを構築すること。
• クラスタリング目的と局所構造の保持の間にある矛盾を解消し、学習された表現の品質の低下を防ぐこと。
• 2次元画像にとどまらない一般化されたデータタイプ（音声、テキスト、生物学的データなど）において、フレームワークの有効性を示すこと。
• 幾何構造の保持が、下流タスクのパフォーマンスを向上させることを実証し、学習された埋め込みの実用的価値を裏付けること。

提案手法

• 潜在空間内のクラスタリングプロセスをガイドするパラメータとして、学習可能なクラスタリングセンターを導入する。
• クラスタリング損失を用いて、マニフォールド間の識別性とクラスタ分離性を向上させる。
• 隣接する点間の距離歪みを最小化することで、各マニフォールド内での局所的幾何構造を保存する等長損失を提案する。
• クラスタ間の相対的距離順序を維持することで、マニフォールド間のグローバル構造を保存するランク損失を導入する。
• エンドツーエンドの潜在空間学習を可能とする、共有エンコーダおよびデコーダを備えたオートエンコーダベースのアーキテクチャを採用する。
• 最適化の安定化と収束の向上を図るため、交互に訓練し、重み継続戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 クラスタリング損失は、マニフォールド学習における潜在空間の局所的およびグローバルな幾何構造を損なうおそれがあるか？
• RQ2 クラスタリング駆動型表現学習の過程で、マニフォールド内での局所的幾何構造とマニフォールド間でのグローバルな識別性をどのように保持できるか？
• RQ3 幾何構造の保持が、クラスタリング性能および下流タスクの精度にどの程度寄与するか？
• RQ4 本稿で提案するフレームワークは、2次元画像にとどまらず、音声、テキスト、生物学的データなどの一般化されたデータタイプに対しても有効であるか？
• RQ5 個々の構成要素（クラスタリング損失、等長損失、ランク損失、トレーニング戦略）は、全体のパフォーマンスにどの程度寄与しているか？

主な発見

• GCMLは、7つのすべてのデータセットでクラスタリング精度（CRA）1.0を達成しており、潜在空間におけるクラスタ間距離順序の完全な保持を示している。
• 可視化および統計的分析により、他の手法がマニフォールド間構造を維持できないのに対し、唯一GCMLがクラスタ間のグローバル順序を完全に保持していることが確認された。
• GCMLにおける等長損失は、入力空間と潜在空間間の距離差の分布が最も狭く、ピークが最も高いことを示しており、ベースラインと比較して優れた局所的等長性を示している。
• 凍結された埋め込みを用いた下流タスクにおいて、MNIST-fullおよびFashion-MNISTの全分類器（LR, MLP, SVM, RFC）において、GCMLはすべてのベースラインを上回った。
• アブレーションスタディの結果、クラスタリング損失はクラスタリング性能に不可欠であり、構造指向の損失（等長損失およびランク損失）はマルチマニフォールド学習および全体のロバストネスを顕著に向上させた。
• 交互トレーニングおよび重み継続戦略は、特にRRE、Trust、CRAなどの指標において、パフォーマンスをさらに向上させた。