[논문 리뷰] Finding Linear Structure in Large Datasets with Scalable Canonical Correlation Analysis

Zhuang Ma, Yichao Lu외 1명|arXiv (Cornell University)|2015. 06. 26.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 36

한 줄 요약

이 논문은 대규모 캐논리컬 상관 분석(CCA)을 위한 확장성 있고 메모리 효율적인 알고리즘인 AppGrad를 제안한다. AppGrad는 CCA를 비볼록 최적화 문제로 재정의하여, 고비용의 행렬 역행렬 계산과 화이트닝 단계를 피한다. 보정된 근사 기울기 기반의 방법을 사용함으로써, 최적의 저장 복잡도 O(k(p₁ + p₂))를 달성하고 스트리밍 및 대규모 데이터 세트를 위한 스트리밍 및 온라인 최적화를 가능하게 하여, 전통적 및 히وري스틱 방법보다 상관관계 포착 능력에서 뛰어나면서도 계산 비용을 크게 줄였다.

ABSTRACT

Canonical Correlation Analysis (CCA) is a widely used spectral technique for finding correlation structures in multi-view datasets. In this paper, we tackle the problem of large scale CCA, where classical algorithms, usually requiring computing the product of two huge matrices and huge matrix decomposition, are computationally and storage expensive. We recast CCA from a novel perspective and propose a scalable and memory efficient Augmented Approximate Gradient (AppGrad) scheme for finding top $k$ dimensional canonical subspace which only involves large matrix multiplying a thin matrix of width $k$ and small matrix decomposition of dimension $k imes k$. Further, AppGrad achieves optimal storage complexity $O(k(p_1+p_2))$, compared with classical algorithms which usually require $O(p_1^2+p_2^2)$ space to store two dense whitening matrices. The proposed scheme naturally generalizes to stochastic optimization regime, especially efficient for huge datasets where batch algorithms are prohibitive. The online property of stochastic AppGrad is also well suited to the streaming scenario, where data comes sequentially. To the best of our knowledge, it is the first stochastic algorithm for CCA. Experiments on four real data sets are provided to show the effectiveness of the proposed methods.

연구 동기 및 목표

• 대규모 고차원 데이터 세트에서 전통적 CCA 알고리즘의 계산 및 저장 복잡도 문제를 해결한다.
• 전체 화이트닝 행렬의 명시적 계산 및 저장을 피하는 메모리 효율적인 전통적 CCA의 대안을 개발한다.
• 스트리밍 데이터를 처리하고 데이터가 많은 환경에서의 런타임을 줄이기 위해 CCA에 대한 온라인 및 스트리밍 최적화를 가능하게 한다.
• 간단한 수정을 통해 구조적 제약(예: 희소성)을 포함할 수 있는 융통성 있는 프레임워크를 제공한다.
• 전통적 배치 알고리즘이 계산적으로 불가능하여 실패하는 실제 데이터 세트에서 뛰어난 성능을 입증한다.

제안 방법

• 큰 화이트닝 행렬의 직접 계산을 피하기 위해 CCA를 비볼록 최적화 문제로 재정의한다.
• 보정된 근사 기울기(AppGrad) 기반의 새로운 방법을 제안하여, 얇은 k×k 행렬과 작은 k×k SVD만을 사용해 계산한다.
• 전체 p₁² 및 p₂² 화이트닝 행렬을 저장할 필요가 없어지므로, 최적의 저장 복잡도 O(k(p₁ + p₂))를 달성한다.
• 데이터를 미니배치 단위로 처리하는 스트리밍 버전의 AppGrad를 개발하여 온라인 학습 및 스트리밍 응용을 가능하게 한다.
• AppGrad 프레임워크 내에서 효율적인 상위-k 특이값 분해를 위해 랜덤화 SVD를 사용한다.
• 기울기 계산과 정규화 단계 사이에 희소성 유도 임계값 처리 단계를 통합하여 희소 캐논리컬 벡터를 촉진한다.

실험 결과

연구 질문

• RQ1 CCA는 고비용의 행렬 역행렬 계산과 화이트닝 단계를 피하기 위해 일阶 최적화 문제로 재정의될 수 있는가?
• RQ2 스토캐스틱 AppGrad 알고리즘이 계산 비용을 크게 줄이면서도 배치 방법과 유사한 상관관계 포착 능력을 달성할 수 있는가?
• RQ3 클래식한 배치 CCA가 계산적으로 불가능한 스트리밍 또는 대규모 데이터 세트에 대해 AppGrad는 효율적으로 적용될 수 있는가?
• RQ4 AppGrad는 비화이트닝, 대각 화이트닝, PCA-CCA 등 히وري스틱 CCA 변형보다 상관관계 포착 능력에서 뛰어나게 되는가?
• RQ5 희소성과 같은 구조적 제약은 계산 효율성을 희생시키지 않고 AppGrad 프레임워크에 자연스럽게 통합될 수 있는가?

주요 결과

• 스토캐스틱 AppGrad는 Mediamill, MNIST, Penn Tree Bank 데이터 세트에서 배치 AppGrad와 거의 동일한 비율의 캐논리컬 상관관계를 포착했으며, 계산 비용은 크게 감소했다.
• 메모리 및 런타임 제약으로 인해 전통적 CCA가 실패하는 URL Reputation 데이터 세트에서는, 스트로캐스틱 AppGrad가 NW-CCA, DW-CCA, PCA-CCA와 같은 히وري스틱 방법보다 훨씬 더 많은 상관관계를 포착했다.
• 데이터 크기가 증가할수록 스트로캐스틱 AppGrad가 배치 AppGrad에 비해 성능 우위를 더 뚜렷이 보이며, 확장성의 이점을 입증했다.
• 스토캐스틱 AppGrad 알고리즘은 높은 품질의 해에 수렴하며, 반복 횟수가 증가할수록 총 상관관계 포착 비율이 점진적으로 증가하여 효과적인 온라인 학습임을 나타냈다.
• 임계값 처리를 통한 AppGrad는 희소 캐논리컬 벡터 추정을 가능하게 하여, 느린 세미정수계획법 또는 히وري스틱 접근법의 실용적인 대안을 제공한다.
• 이 방법은 최적의 저장 복잡도 O(k(p₁ + p₂))를 달성하여, 전통적 O(p₁² + p₂²)의 저장 요구 사항에 비해 크게 향상되었다.