[논문 리뷰] A Randomized Algorithm for CCA

Paul Mineiro, Nikos Karampatziakis|arXiv (Cornell University)|2014. 11. 13.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 18

한 줄 요약

이 논문은 랜덤라이즈드 레인지 파인더와 저랭크 근사법을 사용하여 두 번의 데이터 패assing만으로도 높은 정확도를 달성하는 빠르고 확장 가능한 캐논리컬 코herence 분석(Canonical Correlation Analysis, CCA) 알고리즘인 RandomizedCCA를 소개한다. 이 알고리즘은 반복적 방법(예: Horst 반복)의 효율적인 초기화자로 기능하며, 내재된 정규화 덕분에 일반화 성능이 뛰어나며, 계산 오버헤드를 최소화하면서도 대규모 데이터셋에서 표준 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We present RandomizedCCA, a randomized algorithm for computing canonical analysis, suitable for large datasets stored either out of core or on a distributed file system. Accurate results can be obtained in as few as two data passes, which is relevant for distributed processing frameworks in which iteration is expensive (e.g., Hadoop). The strategy also provides an excellent initializer for standard iterative solutions.

연구 동기 및 목표

• 외부 메모리 또는 분산 시스템에 저장된 대규모 데이터셋에서 전통적인 CCA의 계산 비효율성을 해결하기 위해.
• 수렴하기 위해 수백 번의 패assing이 필요한 반복적 방법(예: Horst 반복)이 요구하는 고비용의 데이터 패assing 수를 줄이기 위해.
• 분산 또는 고지연 환경에서 수렴 속도를 높이기 위해 반복적 CCA 해법자에 대한 빠르고 정확한 초기화자 제공을 위해.
• 다양한 정규화 설정 하에서 랜덤라이즈드 CCA와 표준 반복적 방법 간의 일반화 성능를 탐색하기 위해.
• 랜덤라이즈드 CCA가 명시적인 정규화 없이도 유용한 내재된 정규화를 제공하여, 테스트 데이터에 대한 성능 향상을 이끌어내는지 확인하기 위해.

제안 방법

• 알고리즘은 가우시안 랜덤 행렬을 사용하여 교차공분산행렬 $\mathbf{A}^\top\mathbf{B}$ 의 주요 부분공간을 근사한다.
• 데이터를 기반으로 $q$ 번의 파wr 반복을 수행하며, 행렬-벡터 곱 $\mathbf{A}^\top\mathbf{B}\mathbf{Q}_b$ 와 $\mathbf{B}^\top\mathbf{A}\mathbf{Q}_a$ 를 통해 범위 근사값 $\mathbf{Q}_a$ 와 $\mathbf{Q}_b$ 를 갱신한다.
• 범위 근사 후, 소규모 공분산 행렬 $\mathbf{C}_a = \mathbf{Q}_a^\top\mathbf{A}^\top\mathbf{A}\mathbf{Q}_a$, $\mathbf{C}_b = \mathbf{Q}_b^\top\mathbf{B}^\top\mathbf{B}\mathbf{Q}_b$, 그리고 교차공분산 $\mathbf{F} = \mathbf{Q}_a^\top\mathbf{A}^\top\mathbf{B}\mathbf{Q}_b$ 를 계산한다.
• 정규화된 투영을 위해 정규화된 콜레스키 분해 $\mathbf{L}_a = \mathrm{chol}(\mathbf{C}_a + \lambda_a \mathbf{Q}_a^\top\mathbf{Q}_a)$ 와 $\mathbf{L}_b = \mathrm{chol}(\mathbf{C}_b + \lambda_b \mathbf{Q}_b^\top\mathbf{Q}_b)$ 를 사용한다.
• 최종 CCA 방향은 정규화된 교차공분산 $\mathbf{F}$ 에 대한 SVD를 수행한 후, $\mathbf{X}_a = \sqrt{n} \mathbf{Q}_a \mathbf{L}_a^{-1} \mathbf{U}$ 를 사용해 원래 공간으로 투영함으로써 계산된다.
• 스케일에 영향을 받지 않는 정규화 파rameterization $\lambda_a = \nu \mathrm{Tr}(\mathbf{A}^\top\mathbf{A})/d_a$ 를 사용하여, 다양한 데이터셋에서 안정적인 성능을 확보한다.

실험 결과

연구 질문

• RQ1 랜덤라이즈드 알고리즘이 Horst 반복과 유사한 정확도를 달성하면서도 두 번의 데이터 패assing만으로도 가능할 수 있는가?
• RQ2 RandomizedCCA는 표준 랜덤 또는 0 초기화보다 반복적 해법자에 대해 더 나은 초기화를 제공하는가?
• RQ3 테스트 성능 최적화를 위해 정규화를 조정했을 때, RandomizedCCA의 일반화 성능는 반복적 방법보다 어떻게 비교되는가?
• RQ4 정규화를 명시적으로 조정하지 않더라도, 랜덤라이즈드 접근법이 일반화를 향상시키는 내재된 정규화를 제공하는가?
• RQ5 오버샘플링 수 $p$ 와 파워 반복 수 $q$ 가 해의 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 일반화된 CCA 성능를 위해 $q=2$ 와 $p=2000$ 을 사용했을 때, RandomizedCCA는 훈련 캐논리컬 상관계수 56.666과 테스트 상관계수 56.528을 기록하여, 120번의 패assing을 요구하는 Horst 반복의 성능에 근접하였다.
• RandomizedCCA($p=1000$, $q=1$)로 초기화된 Horst 반복은 총 34번의 데이터 패assing 내에 수렴하였으며, 단일 노드에서 총 시간은 899초에서 636초로 감소하였다.
• RandomizedCCA는 $\nu=0.01$ 일 때 테스트 상관계수 56.860을 기록하여, 동일한 $\nu$ 를 사용한 Horst 반복(56.628)을 초월하였고, 가장 우수한 Horst 런의 성능과도 일치하였다.
• 알고리즘은 기계 정밀도 수준에서 타당성을 유지한다: 모든 투영은 단위(정규화된) 공분산을 가지며, 교차공분산은 대각행렬이다.
• 그림 3은 RandomizedCCA가 Horst 반복보다 정규화 파rameter $\nu$ 에 대해 덜 민감함을 보이며, 더 뛰어난 일반화 성능를 암시한다.
• 이 방법은 $\mathbf{A}^\top\mathbf{B}$ 의 최상위 스펙트럼에 집중함으로써 내재된 정규화를 제공하며, PCA 회귀에 대한 릿지 회귀와 유사하다.