[論文レビュー] SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections

Amir-Hossein Karimi, Alexander Wong+1 more|arXiv (Cornell University)|Nov 7, 2018

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、特徴量とラベルの依存関係を直接最適化するためにカーネル近似とヒルバート＝シュミット独立性基準（HSIC）を用いることで、計算コストの高いSVDを回避し、大規模データセットにおける効率的なクラスに依存する埋め込み学習のための新規手法である教師付きランダムプロジェクション（SRP）を提案する。SRPはSPCAおよびKSPCAと同等の性能を達成しながら、1〜2桁の高速化を実現し、大規模データ向けのスケーラブルな教師付き次元削減を可能にする。

ABSTRACT

Supervised dimensionality reduction strategies have been of great interest. However, current supervised dimensionality reduction approaches are difficult to scale for situations characterized by large datasets given the high computational complexities associated with such methods. While stochastic approximation strategies have been explored for unsupervised dimensionality reduction to tackle this challenge, such approaches are not well-suited for accelerating computational speed for supervised dimensionality reduction. Motivated to tackle this challenge, in this study we explore a novel direction of directly learning optimal class-aware embeddings in a supervised manner via the notion of supervised random projections (SRP). The key idea behind SRP is that, rather than performing spectral decomposition (or approximations thereof) which are computationally prohibitive for large-scale data, we instead perform a direct decomposition by leveraging kernel approximation theory and the symmetry of the Hilbert-Schmidt Independence Criterion (HSIC) measure of dependence between the embedded data and the labels. Experimental results on five different synthetic and real-world datasets demonstrate that the proposed SRP strategy for class-aware embedding learning can be very promising in producing embeddings that are highly competitive with existing supervised dimensionality reduction methods (e.g., SPCA and KSPCA) while achieving 1-2 orders of magnitude better computational performance. As such, such an efficient approach to learning embeddings for dimensionality reduction can be a powerful tool for large-scale data analysis and visualization.

研究の動機と目的

• 大規模データセットにおけるSPCAやKSPCAといった教師付き次元削減手法の高い計算コストを軽減すること。
• 完全な行列分解のO(dn²)の複雑さを回避するSVDに基づく手法のスケーラブルな代替策を開発すること。
• カーネル近似とHSICの対称性を活用して、反復的最適化を経ずに最適なクラスに依存する埋め込みを直接学習すること。
• 大規模データセットにおいて、著しく短いウォルクロック時間で、競争力ある分類精度を達成すること。
• 高次元データの効率的な可視化および下流処理を可能にする、高速かつ閉形式の埋め込み手法を実現すること。

提案手法

• SRPは、射影されたデータとラベルの間の依存関係を測るHSICを直接最適化することで、教師付き埋め込み学習を定式化し、その対称性を活用して計算を効率化する。
• スペクトル分解の代わりに、カーネル近似に基づくランダムプロジェクション方式を採用し、SVDを完全に回避する。
• ランダムプロジェクション行列を用いて、ラベルへの依存関係が最大化される低次元空間にデータをマッピングし、HSIC基準に従って制御する。
• このアプローチはカーネル近似理論に裏打ちされており、フルカーネル行列を明示的に計算せずに、カーネルに基づく依存関係を効率的に計算可能である。
• 非線形の場合には、カーネル近似技術を用いて非線形なラベル依存関係を扱えるように拡張したKSRP（Kernel SRP）を導入する。
• 理論的収束バウンドを導出し、時間計算量の保証を提供する。SRPはO(dn²)、KSRPはO(kₓn² + kᵧn²)であり、KSPCAのO(n³)と比較して顕著に高速である。

実験結果

リサーチクエスチョン

• RQ1 SVDフリーのランダム化アプローチは、SPCAおよびKSPCAと同等の分類性能を達成しつつ、計算コストを著しく削減できるか？
• RQ2 カーネル近似とHSICの対称性の活用により、スペクトル分解を経ずにラベル依存埋め込みを直接最適化できるか？
• RQ3 大規模データセットにおける教師付きランダムプロジェクションを用いる場合、埋め込み品質と計算効率のトレードオフはいかなるものか？
• RQ4 SRPおよびKSRPは、SPCAおよびKSPCAと比較して、1-NN分類精度およびウォルクロック実行時間の面でどのように異なるか？
• RQ5 提案手法は、KSPCAがメモリおよび時間制約のため失敗するような大規模データセットにもスケーラブルに適用可能か？

主な発見

• 実験では、SRPはSPCAおよびKSPCAと比較して1〜2桁の高速化を達成し、ウォルクロック時間で5〜20倍の改善が得られた。
• テストした5つのすべてのデータセットにおいて、SRPおよびKSRPは1-NN分類精度を、正確な対応する手法（SPCAおよびKSPCA）と2%以内に保った。
• MNISTデータセットでは、KSPCAが64GBのメモリ制限により失敗したが、SRPは依然として効率的かつ効果的であった。これはスケーラビリティの優位性を示している。
• ランダムプロジェクション基底の数（k）を増加させることで1-NN性能が向上し、より高いkがより多くの識別的情報を保持していることを確認した。
• SRPの時間計算量はO(dn²)、KSRPはO(max{kₓn², kᵧn²})であり、KSPCAのO(n³)と比較して顕著に低い。これは観測された実行時間の改善と整合的である。
• 提案手法は、XORやMNISTのような複雑なデータの2次元可視化を効果的に行い、正確なSPCAと同等に近い性能を達成した。これは、データ探索における実用性を示している。