[논문 리뷰] SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections

Amir-Hossein Karimi, Alexander Wong외 1명|arXiv (Cornell University)|2018. 11. 07.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 커널 근사화와 힐버트-슈미트 독립성 기준(HSIC)을 사용하여 레이블 의존성을 직접 최적화함으로써, 계산 비용이 높은 SVD를 피하는 방식으로 대규모 데이터셋에서 효율적인 클래스 인식 임bedding 학습을 위한 새로운 방법인 감독형 랜덤 프로젝션(SRP)을 제안한다. SRP는 SPCA 및 KSPCA와 경쟁 가능한 성능을 달성하면서도 계산 속도가 1~2개 정도 빠르며, 대규모 데이터에 대한 확장 가능한 감독형 차원 축소를 가능하게 한다.

ABSTRACT

Supervised dimensionality reduction strategies have been of great interest. However, current supervised dimensionality reduction approaches are difficult to scale for situations characterized by large datasets given the high computational complexities associated with such methods. While stochastic approximation strategies have been explored for unsupervised dimensionality reduction to tackle this challenge, such approaches are not well-suited for accelerating computational speed for supervised dimensionality reduction. Motivated to tackle this challenge, in this study we explore a novel direction of directly learning optimal class-aware embeddings in a supervised manner via the notion of supervised random projections (SRP). The key idea behind SRP is that, rather than performing spectral decomposition (or approximations thereof) which are computationally prohibitive for large-scale data, we instead perform a direct decomposition by leveraging kernel approximation theory and the symmetry of the Hilbert-Schmidt Independence Criterion (HSIC) measure of dependence between the embedded data and the labels. Experimental results on five different synthetic and real-world datasets demonstrate that the proposed SRP strategy for class-aware embedding learning can be very promising in producing embeddings that are highly competitive with existing supervised dimensionality reduction methods (e.g., SPCA and KSPCA) while achieving 1-2 orders of magnitude better computational performance. As such, such an efficient approach to learning embeddings for dimensionality reduction can be a powerful tool for large-scale data analysis and visualization.

연구 동기 및 목표

• 대규모 데이터셋에서 SPCA 및 KSPCA와 같은 감독형 차원 축소 방법의 높은 계산 비용을 해결하기 위해.
• 전체 행렬 분해의 O(dn²) 복잡도를 가지는 SVD 기반 방법의 대체 방법으로 확장 가능한 방법을 개발하기 위해.
• 커널 근사화와 HSIC 대칭성을 활용하여 반복 최적화 없이 최적의 클래스 인식 임베딩을 직접 학습하기 위해.
• 대규모 데이터셋에서 벽시계 시간을 크게 줄이며 경쟁 가능한 분류 정확도를 달성하기 위해.
• 고차원 데이터의 효율적 시각화 및 후속 처리를 위해 빠르고 폐쇄형 해법을 제공하는 임베딩 방법을 구현하기 위해.

제안 방법

• SRP는 투영된 데이터와 레이블 간의 의존도를 측정하는 HSIC를 직접 최적화하는 방식으로 감독형 임베딩 학습을 설정하며, 효율적 계산을 위해 그 대칭성을 활용한다.
• 이 방법은 스펙트럼 분해를 랜덤 프로젝션 기반의 커널 근사화에 의해 대체함으로써 SVD를 완전히 회피한다.
• 랜덤 프로젝션 행렬을 사용하여 데이터를 낮은 차원의 공간으로 매핑하며, 이 공간에서 레이블에 대한 의존도가 최대화되도록 유도한다. 이는 HSIC 기준에 의해 지시된다.
• 이 방법은 커널 근사화 이론에 기반하여 전체 커널 행렬을 명시적으로 계산하지 않아도 커널 기반 의존도를 효율적으로 계산할 수 있도록 한다.
• 비선형 케이스의 경우, 커널 근사화 기법을 사용하여 비선형 레이블 의존성을 다룰 수 있도록 하는 커널 SRP(KSRP)로 확장된다.
• 이 방법은 이론적 수렴 경계를 도출하고 시간 복잡도 보장을 제공하며, SRP의 경우 O(dn²), KSRP의 경우 O(kₓn² + kᵧn²)로 나타내어 KSPCA의 O(n³)보다 현저히 빠르다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 SVD를 포함하지 않는 랜덤화된 접근 방식이 SPCA 및 KSPCA와 유사한 분류 성능을 달성하면서도 계산 비용을 크게 줄일 수 있는가?
• RQ2 커널 근사화와 HSIC 대칭성의 사용이 스펙트럼 분해 없이도 레이블 의존성 임베딩을 직접 최적화하는 데 어떻게 기여하는가?
• RQ3 대규모 데이터셋에서 감독형 랜덤 프로젝션을 사용할 경우 임베딩 품질과 계산 효율성 사이의 상호 교환 관계는 어떠한가?
• RQ4 SRP와 KSRP는 SPCA 및 KSPCA와 비교해 1-NN 분류 정확도 및 벽시계 실행 시간 측면에서 어떻게 다른가?
• RQ5 제안된 방법이 KSPCA가 메모리 및 시간 제약로 인해 실패할 수 있는 대규모 데이터셋에 대해 확장 가능한가?

주요 결과

• 실험 결과, SRP는 SPCA 및 KSPCA보다 1~2개 정도 더 빠른 계산 속도를 보였으며, 벽시계 시간에서 5~20배의 향상을 달성했다.
• 시험한 다섯 개의 모든 데이터셋에서 SRP 및 KSRP는 정확도가 SPCA 및 KSPCA의 정확도에서 2% 이내로 유지되어 강력한 성능 유지 능력을 입증했다.
• MNIST 데이터셋의 경우 KSPCA는 64GB 메모리 한계로 실패했지만, SRP는 여전히 효율적이고 효과적이었으며, 확장성 우수성을 입증했다.
• 랜덤 프로젝션 기저 수(k)를 늘일수록 1-NN 성능이 향상되었으며, 이는 더 높은 k 값이 더 많은 분류 정보를 유지함을 확인한다.
• SRP의 시간 복잡도는 O(dn²), KSRP는 O(max{kₓn², kᵧn²})이며, KSPCA의 O(n³)보다 현저히 낮아 관측된 런타임 향상과 일치한다.
• 제안된 방법은 XOR 및 MNIST와 같은 복잡한 데이터의 효과적인 2차원 시각화를 가능하게 하여 정확도가 정확한 SPCA에 근접한 성능을 보이며, 데이터 탐색에서의 유용성을 입증했다.