[논문 리뷰] Alternating Maximization: Unifying Framework for 8 Sparse PCA Formulations and Efficient Parallel Codes

Peter Richtárik, Majid Jahani외 2명|arXiv (Cornell University)|2012. 12. 17.

Spectroscopy and Chemometric Analyses인용 수 9

한 줄 요약

이 논문은 L2/L1 분산 측정법과 L0/L1 희소성 유도 노름을 제약 조건 또는 펜alties를 통해 조합한 여덟 가지 희소 주성분 분석(PCA) 설정을 통합하는 교대 최대화(AM) 프레임워크를 제안한다. 이 방법은 GPower와 동치이며, 단일 코어, 다중 코어, GPU, 클러스터 아키텍처 등 다양한 하드웨어에서 매우 효율적인 병렬 구현이 가능하여 최대 100배의 속도 향상을 달성하고, 357GB 크기의 데이터 문제를 1분 이내에 해결한다.

ABSTRACT

Given a multivariate data set, sparse principal component analysis (SPCA) aims to extract several linear combinations of the variables that together explain the variance in the data as much as possible, while controlling the number of nonzero loadings in these combinations. In this paper we consider 8 different optimization formulations for computing a single sparse loading vector; these are obtained by combining the following factors: we employ two norms for measuring variance (L2, L1) and two sparsity-inducing norms (L0, L1), which are used in two different ways (constraint, penalty). Three of our formulations, notably the one with L0 constraint and L1 variance, have not been considered in the literature. We give a unifying reformulation which we propose to solve via a natural alternating maximization (AM) method. We show the the AM method is nontrivially equivalent to GPower (Journ\\'{e}e et al; JMLR 11:517--553, 2010) for all our formulations. Besides this, we provide 24 efficient parallel SPCA implementations: 3 codes (multi-core, GPU and cluster) for each of the 8 problems. Parallelism in the methods is aimed at i) speeding up computations (our GPU code can be 100 times faster than an efficient serial code written in C++), ii) obtaining solutions explaining more variance and iii) dealing with big data problems (our cluster code is able to solve a 357 GB problem in about a minute).

연구 동기 및 목표

• L2, L1 분산 측정법과 L0, L1 희소성 유도 노름을 제약 조건 또는 페널티 형태로 조합한 여덟 가지 다른 희소 PCA 설정을 통합하는 것.
• 모든 여덟 가지 설정을 균일하게 해결할 수 있는 단일이고 확장 가능한 알고리즘인 교대 최대화(AM)를 개발하는 것.
• CPU, GPU, 클러스터 등 다양한 하드웨어 플랫폼에서의 효율적 병렬화를 통해 계산을 가속화하고 대용량 데이터를 처리할 수 있도록 하는 것.
• 다중 시작점 전역화 전략을 통합하여 국소 최적해에서 벗어나 더 많은 분산을 설명하는 해를 찾는 데 도움을 주어 해의 품질을 향상시키는 것.
• 클러스터 구현을 통해 357GB의 조밀한 데이터 행렬에 대해 확장성을 입증하는 것.

제안 방법

• 희소 PCA를 탐색 가능한 집합 X 위에서의 최대화 문제로 공식화하며, 목적 함수는 L2 또는 L1 분산과 L0 또는 L1 희소성 유도 항을 조합한다.
• 로딩 벡터와 보조 변수에 대해 순차적으로 최적화하는 방식으로, 모든 여덟 가지 설정을 균일하게 해결하기 위해 교대 최대화(AM) 방법을 적용한다.
• 적절하게 구성된 볼록 함수에 대해 적용될 경우, AM이 수학적으로 GPower 방법과 동치임을 증명하여 수렴성과 최적성 보장을 확보한다.
• 고성능 계산을 위해 CBLAS, OpenMP(다중 코어), CuBLAS(GPU), MPI/PBLAS(클러스터)를 사용한 병렬 버전을 구현한다.
• 국소 최적해에서 벗어나 다양한 초기 해를 탐색할 수 있도록 다중 시작점 전역화 전략을 통합한다.
• 효율적인 메모리 접근과 커널 최적화(예: GPU에서의 Thrust)를 통해 하드웨어 활용도를 극대화하고 높은 속도 향상을 달성한다.

실험 결과

연구 질문

• RQ1 다양한 분산 측정법과 희소성 강화 방식을 조합한 여덟 가지 다른 희소 PCA 설정을 하나의 알고리즘 프레임워크로 통합할 수 있는가?
• RQ2 교대 최대화(AM)는 모든 설정에서 기존의 GPower 같은 방법과 동치이며, 수렴성과 최적성 보장을 유지하는가?
• RQ3 AM의 병렬 구현은 CPU, GPU, 클러스터 등 다양한 아키텍처에서 높은 속도 향상을 달성하면서도 해의 품질을 유지할 수 있는가?
• RQ4 다중 시작점 전역화 전략은 단일 시작점 방법에 비해 설명 분산을 향상시키는가?
• RQ5 이 프레임워크는 357GB 크기의 매우 큰 데이터 세트, 예를 들어 조밀한 행렬에 대해 실용적인 시간 제한 내에서 확장 가능한가?

주요 결과

• 제안된 교대 최대화(AM) 프레임워크는 여덟 가지 희소 PCA 설정을 모두 통합하며, 모든 케이스에서 AM이 GPower 방법과 수학적으로 동치임을 입증하였다.
• GPU 최적화 버전은 고도로 최적화된 단일 스레드 C++ 코드 대비 최대 100배의 속도 향상을 달성하여 대규모 문제에 대해 뛰어난 가속 성능을 보였다.
• 클러스터 구현은 357GB 크기의 완전히 조밀한 데이터 행렬을 1분 이내에 성공적으로 해결하여 대용량 데이터 분석에 대한 확장성을 입증하였다.
• 다중 시작점 전역화 전략은 다양한 초기 해를 탐색할 수 있도록 하여 분산 설명도를 향상시키고 해의 품질을 개선했다.
• 다중 코어 및 GPU 코드는 단일 스레드 실행 대비 각 시작점당 최대 100배의 속도 향상을 달성하여 계산 시간을 크게 단축시켰다.
• 여덟 가지 설정 중 세 가지—특히 L1 분산에 L0 또는 L1 희소성 제약 조건을 적용한 경우—는 이전에 문헌에서 다뤄지지 않은 사례로, 희소 PCA의 이론적·실용적 범위를 확장하였다.