[論文レビュー] Supervised Dimensionality Reduction and Visualization using Centroid-encoder

Tomojit Ghosh, M. Kirby|arXiv (Cornell University)|Feb 27, 2020

Data Visualization and Analytics被引用数 14

ひとこと要約

本稿では、教師あり次元削減手法であるCentroid-Encoder（CE）を提案する。CEは、自己符号化器に基づく非線形次元削減の過程で、クラスラベルを用いてデータポイントをそのクラスの重心にマッピングする。CEは、クラス構造を保持しながら低次元空間で顕著に高い分散（最大89％）を捉えることができ、再訓練を必要とせずに新しいデータに対する効率的な推論を可能にする。従来の最先端手法を上回る性能を示す。

ABSTRACT

Visualizing high-dimensional data is an essential task in Data Science and Machine Learning. The Centroid-Encoder (CE) method is similar to the autoencoder but incorporates label information to keep objects of a class close together in the reduced visualization space. CE exploits nonlinearity and labels to encode high variance in low dimensions while capturing the global structure of the data. We present a detailed analysis of the method using a wide variety of data sets and compare it with other supervised dimension reduction techniques, including NCA, nonlinear NCA, t-distributed NCA, t-distributed MCML, supervised UMAP, supervised PCA, Colored Maximum Variance Unfolding, supervised Isomap, Parametric Embedding, supervised Neighbor Retrieval Visualizer, and Multiple Relational Embedding. We empirically show that centroid-encoder outperforms most of these techniques. We also show that when the data variance is spread across multiple modalities, centroid-encoder extracts a significant amount of information from the data in low dimensional space. This key feature establishes its value to use it as a tool for data visualization.

研究の動機と目的

• 可視化の過程でクラス分離性を保持できないという、PCA や自己符号化器などの教師なし手法の限界に対処すること。
• ラベルを活用して潜在空間におけるクラス内分散を最小化する教師あり次元削減手法を開発すること。
• 低次元埋め込みにおいて、グローバルなデータ分散とトポロジカル構造を効率的に捉える手法を構築すること。
• スペクトル手法が完全な再計算を必要とするのに対し、再訓練なしに一般化可能なマッピングを提供すること。

提案手法

• 標準的な自己符号化器を変更し、ボトルネック層を入力データポイントをそれぞれのクラス重心にマッピングするように学習させる。
• tanh活性化関数を用いた対称的アーキテクチャ（例：784→784→784）を採用し、滑らかで非線形な変換を保証する。
• 再構成誤差と、符号化されたポイントをクラス固有の重心に引き寄せる重心正則化項を組み合わせた損失関数を用いる。
• 2段階の訓練プロセスを採用：まず自己符号化器を事前学習し、次に重心制約を用いてファインチューニングする。
• 得られた潜在表現は、PCA や他の線形手法を用いて可視化に用いられ、クラス構造が保持される。
• 学習済みエンコーダーを用いて新しいデータに対する推論が可能であり、スペクトル手法が全データセットの再計算を要するのとは異なり、再訓練を必要としない。

実験結果

リサーチクエスチョン

• RQ1 教師あり自己符号化器アーキテクチャは、高い分散を捉えつつ、低次元埋め込みにおけるクラス構造を効果的に保持できるか？
• RQ2 CEは、最先端の教師ありおよび教師なし次元削減手法と比較して、分散の捉え方と可視化品質において優れているか？
• RQ3 CEは、ベンチマークデータセットにおいて、PCA や t-SNE、UMAP などの非線形手法よりも優れたクラス分離性を達成するか？
• RQ4 距離ベースの手法（例：NCA や UMAP）と比較して、CEは計算コストをどの程度低減するか？
• RQ5 スペクトル埋め込み手法とは異なり、CEは再訓練なしに新しいデータに一般化できるか？

主な発見

• MNIST 4/9サブセットにおいて、CEは潜在空間の最初の100次元で、元のデータの22％に比べて約89％の全データ分散を捉えている。
• 変換済みデータに対してPCAを用いたCEベースの可視化では、明確にクラスが分離されている（例：数字4と9）。一方、標準的なPCAではそのような分離は達成できない。
• 教師ありUMAP、SPCA、NCA、t-SNEなどの競合手法と比較して、CEはグローバルなデータ構造とクラス分離性の両方を優れて保持している。
• ペairwise距離計算を必要としないにもかかわらず、CEは最先端手法と同等の予測誤差を達成している。
• 距離ベースの手法とは異なり、CEはデータサイズに比例して線形にスケーリングされ、大規模データセットに対してより効率的である。
• スペクトル手法が全データセットの固有ベクトルを再計算を要するのに対し、CEは再訓練なしに新しいデータに対する推論が可能である。