[論文レビュー] Neural Manifold Clustering and Embedding

Zengyi Li, Yubei Chen+2 more|arXiv (Cornell University)|Jan 24, 2022

Medical Imaging and Analysis被引用数 13

ひとこと要約

本稿では、幾何的制約を強制するデータ拡張と、部分空間特徴学習のための最大符号化レート低減（MCR²）を組み合わせた深層学習手法であるニューラル多様体クラスタリングと埋め込み（NMCE）を提案する。NMCEは、CIFAR-10およびCIFAR-20において自己符号化器ベースのクラスタリング手法や最先端手法を上回り、解釈可能で意味的に意味のある特徴空間を学習することで、最大9%の高い正確性を達成する。

ABSTRACT

Given a union of non-linear manifolds, non-linear subspace clustering or manifold clustering aims to cluster data points based on manifold structures and also learn to parameterize each manifold as a linear subspace in a feature space. Deep neural networks have the potential to achieve this goal under highly non-linear settings given their large capacity and flexibility. We argue that achieving manifold clustering with neural networks requires two essential ingredients: a domain-specific constraint that ensures the identification of the manifolds, and a learning algorithm for embedding each manifold to a linear subspace in the feature space. This work shows that many constraints can be implemented by data augmentation. For subspace feature learning, Maximum Coding Rate Reduction (MCR$^2$) objective can be used. Putting them together yields {\em Neural Manifold Clustering and Embedding} (NMCE), a novel method for general purpose manifold clustering, which significantly outperforms autoencoder-based deep subspace clustering. Further, on more challenging natural image datasets, NMCE can also outperform other algorithms specifically designed for clustering. Qualitatively, we demonstrate that NMCE learns a meaningful and interpretable feature space. As the formulation of NMCE is closely related to several important Self-supervised learning (SSL) methods, we believe this work can help us build a deeper understanding on SSL representation learning.

研究の動機と目的

• 非線形多様体の集合からなるデータのクラスタリングを、深層ニューラルネットワークを用いて解決する挑戦に応える。
• 自己符号化器ベースの深層部分空間クラスタリングの限界を克服する。これは、後処理に依存するため、線形クラスタリングに比べてわずかな向上しか得られない。
• 一元的なフレームワーク内で多様体クラスタリングと線形部分空間埋め込みの両方を学習できる汎用的手法を開発する。
• ドメイン固有の制約と原理的で整合性のある部分空間学習目的を統合することで、堅牢性と解釈可能性を確保する。
• CIFAR-10やCIFAR-20のような高次元画像データセットにおいて、クラスタリング最適化された深層学習手法と比較して優れた性能を示す。

提案手法

• ドメイン固有の幾何的制約（例えば、変換における不変性など）を強制するために、データ拡張を適用し、識別可能な多様体クラスタリングを実現する。
• 潜在空間で最大符号化レート低減（MCR²）目的関数を用いて、線形的で崩壊せず、分離された部分空間表現を学習する。
• 3段階の訓練プロトコルを採用：自己教師付きコントラスト的目的関数による事前学習、事前特徴量上でのMCR²による部分空間クラスタリング、および完全なNMCE目的関数によるエンドツーエンドのファインチューニング。
• MCR²目的関数を活用し、各多様体の埋め込みが特徴空間内で別々の線形部分空間を占めるように保証する。
• MCR²で学習した特徴量に対してPCAを適用し、学習された部分空間の可視化を行う。その結果、主成分が意味的に意味のある画像クラスタ（例：白い犬、特定の物体タイプ）に対応していることが示された。
• MCR²で学習した特徴量上で、標準的なクラスタリングアルゴリズム（例：EnSC、ESC、SENet）を統合して、下流の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張は、深層ニューラルネットワークにおける多様体クラスタリングの性能向上に寄与する幾何的制約を効果的に強制できるか？
• RQ2 MCR²は、非線形多様体に対して、分離された線形部分空間表現を学習するにあたり、自己表現に基づくクラスタリング目的関数を上回るか？
• RQ3 幾何的制約とMCR²を統合した一元的な深層学習フレームワークは、挑戦的な画像クラスタリングベンチマークで最先端の性能を達成できるか？
• RQ4 NMCEは、TCC、ConCURL、MiCEといったクラスタリング最適化された深層学習手法と比較して、CIFAR-10およびCIFAR-20でどのように性能を発揮するか？
• RQ5 NMCEで学習された特徴量は、どの程度解釈可能で意味的な構造を示すか？

主な発見

• NMCEは、MCR²ベースラインと比較して、CIFAR-10で6.1%、CIFAR-20で9.0%の絶対的なクラスタリング正確性の向上を達成した。
• NMCEは、ACC、NMI、ARIの指標すべてにおいて、TCC、ConCURL、MiCEといった最先端の深層クラスタリング手法を上回った。
• 自己符号化器ベースの深層部分空間クラスタリングは、後処理に強く依存しており、深層アーキテクチャそのものからの向上は限定的であるため、NMCEはその性能を著しく上回った。
• 学習された部分空間の主成分の可視化から、意味的に意味のあるクラスタ（例：白い犬、特定の物体タイプ）が明確に識別された。これは、解釈可能な特徴学習が実現されたことを示している。
• 完全なNMCE目的関数を用いたネットワーク全体のファインチューニングにより、わずかではあるが顕著な性能向上が得られた。これは、エンドツーエンド最適化の利点が裏付けられたことを示している。
• NMCEで学習された特徴量は、標準的な自己教師付き学習とは異なり、超球面上に一様に分布せず、より良い構造保存とクラスタリング可能性を示している。