[論文レビュー] A Comparative Study of UMAP and Other Dimensionality Reduction Methods

Guanzhe Zhang, Shanshan Ding+1 more|arXiv (Cornell University)|Mar 1, 2026

Face and Expression Recognition被引用数 0

ひとこと要約

この論文は、UCMAP（教師なしおよび教師あり）をPCA、KPCA、SIR、KSIR、t-SNEと経験的に比較し、回帰と分類の性能に焦点を当て、教師ありUMAPが分類で優れる一方で回帰には限界があることを明らかにします。

ABSTRACT

Uniform Manifold Approximation and Projection (UMAP) is a widely used manifold learning technique for dimensionality reduction. This paper studies UMAP, supervised UMAP, and several competing dimensionality reduction methods, including Principal Component Analysis (PCA), Kernel PCA, Sliced Inverse Regression (SIR), Kernel SIR, and t-distributed Stochastic Neighbor Embedding, through a comprehensive comparative analysis. Although UMAP has attracted substantial attention for preserving local and global structures, its supervised extensions, particularly for regression settings, remain rather underexplored. We provide a systematic evaluation of supervised UMAP for both regression and classification using simulated and real datasets, with performance assessed via predictive accuracy on low-dimensional embeddings. Our results show that supervised UMAP performs well for classification but exhibits limitations in effectively incorporating response information for regression, highlighting an important direction for future development.

研究の動機と目的

• UMAPの教師なしおよび教師あり設定での性能を、広範な次元削減法と比較して評価する。
• シミュレーションデータと実データセットを用いて、回帰および分類の両方で教師ありUMAPを評価する。
• 次元削減のための応答情報を活用する際の教師ありUMAPの強みと限界を特定する。
• 実用的な使用と将来の研究方向性に関するガイダンスを提供する。

提案手法

• 応答情報が高次元類似度グラフにどのように組み込まれるかを説明する、教師なしおよび教師ありUMAPの定式化。
• PCA、KPCA、SIR、KSIR、t-SNEと比較し、シミュレーションデータ（特徴分布3種類、応答モデル4種）と実データセット（Fashion-MNISTおよびOnline News Popularity）を用いる。
• n=1000, p=500, s=10 のデータセットをシミュレーションし、低次元埋め込みのKNNの予測性能で評価。
• 連続応答に対する3つの教師ありUMAPバリアントを評価：方法1（連続Yを直接使用）、方法2（カテゴリY）、方法3（Yを区間に分割してスライス）。
• 安定性を評価するために訓練/テスト分割を用い、100回の反復で結果を平均化。

実験結果

リサーチクエスチョン

• RQ1 教師ありUMAPは回帰タスクで教師なしUMAPや他の方法を上回ることができるか？
• RQ2 回帰と分類の設定において、教師ありUMAPは予測子—応答関係をどの程度捉えるか？
• RQ3 既存の教師ありUMAPバリアントは非線形埋め込みの応答情報を効果的に活用しているか、それとも過適合してしまうのか？
• RQ4 伝統的な手法（PCA、KPCA、SIR、KSIR、t-SNE）は、シミュレーションおよび実データの文脈でUMAPバリアントと比較してどうであるか？

主な発見

• 教師ありUMAPは分類には有効だが、応答情報を埋め込みに組み込む際には回帰で限界がある。
• SIR（線形SDR）は、シミュレーションデータ全体で回帰設定においてより低いまたは同等の予測誤差を一貫して達成する。
• CoSU（教師ありUMAPのバリアント）は、教師なしUMAPと比較してテスト時のMSEが高く、過適合傾向を示す。
• スライス応答を用いる教師ありUMAP（方法3）は、過適合を緩和し、元の連続応答アプローチよりも性能が向上することがある。
• KSIRとt-SNEはデータ構造に対する変動性と感度が高い。
• PCAおよびKPCAと比較して、SIRは回帰タスクでより安定した予測性能を提供することが多い。