[논문 리뷰] Large scale canonical correlation analysis with iterative least squares

Yichao Lu, Dean P. Foster|arXiv (Cornell University)|2014. 07. 16.

Face and Expression Recognition참고 문헌 16인용 수 39

한 줄 요약

이 논문은 대규모 희소 데이터셋에서 빠르고 확장 가능한 정준상관계수 분석을 위한 반복 최소제곱 알고리즘인 L-CCA를 제안한다. 비용이 많이 드는 행렬 분해를 피하기 때문에 L-CCA는 점근적 수렴성을 확보하고 기존의 근사 방법들보다 뛰어난 성능을 보이며, 실제 데이터에서 빠른 속도 향상과 정확도 향상을 입증한다.

ABSTRACT

Canonical Correlation Analysis (CCA) is a widely used statistical tool with both well established theory and favorable performance for a wide range of machine learning problems. However, computing CCA for huge datasets can be very slow since it involves implementing QR decomposition or singular value decomposition of huge matrices. In this paper we introduce L-CCA, a iterative algorithm which can compute CCA fast on huge sparse datasets. Theory on both the asymptotic convergence and finite time accuracy of L-CCA are established. The experiments also show that L-CCA outperform other fast CCA approximation schemes on two real datasets.

연구 동기 및 목표

• 기존의 CCA가 대규모 희소 데이터셋에서 겪는 계산적 병목 현상을 해결하기 위해.
• 거대한 행렬의 비용이 많이 드는 QR 또는 SVD 분해를 피하는 빠르고 확장 가능한 CCA의 대안을 개발하기 위해.
• 제안된 방법에 대한 수렴성과 유한 시간 정확도에 대한 이론적 보장을 수립하기 위해.
• 기존의 빠른 CCA 근사 기법들과의 비교를 통해 L-CCA의 성능을 경험적으로 검증하기 위해.

제안 방법

• L-CCA는 큰 데이터 행렬을 명시적으로 형성하거나 분해하지 않고도 정준상관계수를 계산하기 위해 반복 최소제곱 접근법을 사용한다.
• 알고리즘은 공액 기울기 방법을 사용하여 선형 시스템을 번갈아가며 풀어, 희소 데이터에서 효율적인 계산을 가능하게 한다.
• 정준상관계수 분석의 구조를 활용하여 반복적으로 상관계수 방향과 정준변량을 정밀하게 조정한다.
• 이론적 분석을 통해 점근적 수렴성을 증명하고, 유한 시간 정확도에 대한 경계를 제시한다.
• 메모리 효율적이며 스트리밍 또는 분산 데이터 환경에 적합하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 반복 최소제곱 접근법이 대규모 희소 데이터셋에서 더 빠르고 확장 가능한 CCA 계산을 달성할 수 있는가?
• RQ2 표준 CCA와 비교해 L-CCA는 이론적 수렴성과 유한 시간 정확도를 유지하는가?
• RQ3 기존의 빠른 CCA 근사 기법들과 비교해 L-CCA의 성능과 정확도는 어떠한가?
• RQ4 L-CCA는 희소 표현을 가진 실제 대규모 데이터셋을 효과적으로 처리할 수 있는가?

주요 결과

• L-CCA는 비용이 많이 드는 행렬 분해를 피하기 때문에 기존의 CCA보다 빠른 속도 향상을 달성한다.
• 기본 가정 하에 L-CCA는 진정한 정준상관계수로 점점 수렴함을 보였다.
• 유한 시간 정확도 경계가 확립되어 있어 합리적인 반복 수 내에서 신뢰할 수 있는 성능을 보장한다.
• 두 개의 실제 데이터셋에서 L-CCA는 속도와 정확도 양면에서 다른 빠른 CCA 근사 기법들을 능가했다.