[논문 리뷰] Sparse PCA via Bipartite Matchings

Megasthenis Asteris, Dimitris Papailiopoulos외 2명|arXiv (Cornell University)|2015. 08. 04.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 14

한 줄 요약

이 논문은 이질적 지지집합을 가진 다중 성분 희소 주성분 분석을 위한 새로운 조합 알고리즘을 제안하며, 이분 최대 가중치 매칭을 통해 성분을 동시에 최적화한다. 낮은 랭크 스케치를 통해 다항식 시간 성능을 확보하면서도 최적에 가까운 분산 확보 근사 보장을 달성하며, 실제 데이터셋에서 그레디브 디플레이션 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We consider the following multi-component sparse PCA problem: given a set of data points, we seek to extract a small number of sparse components with disjoint supports that jointly capture the maximum possible variance. These components can be computed one by one, repeatedly solving the single-component problem and deflating the input data matrix, but as we show this greedy procedure is suboptimal. We present a novel algorithm for sparse PCA that jointly optimizes multiple disjoint components. The extracted features capture variance that lies within a multiplicative factor arbitrarily close to 1 from the optimal. Our algorithm is combinatorial and computes the desired components by solving multiple instances of the bipartite maximum weight matching problem. Its complexity grows as a low order polynomial in the ambient dimension of the input data matrix, but exponentially in its rank. However, it can be effectively applied on a low-dimensional sketch of the data; this allows us to obtain polynomial-time approximation guarantees via spectral bounds. We evaluate our algorithm on real data-sets and empirically demonstrate that in many cases it outperforms existing, deflation-based approaches.

연구 동기 및 목표

• 이질적 지지집합을 가진 다중 성분 희소 주성분 분석에서 그레디브 디플레이션 기반 접근법의 부적합성을 해결하기 위해.
• 순차적으로가 아니라 동시에 최적화하여 서로 이질적인 지지집합을 가진 다중 희소 성분을 최대한의 설명 분산을 확보하도록 최적화하기 위해.
• 공동 희소 주성분 분석 문제에 대해 최적 해에 근접한 이론적 근사 보장을 제공하기 위해.
• 낮은 차원의 스케치를 사용하여 계산 복잡도를 감소시키면서도 강력한 이론적 성능 한계를 유지하기 위해.
• 실제 데이터셋에서 디플레이션 기반 최신 기법들보다 뛰어난 성능을 경험적으로 검증하기 위해.

제안 방법

• 알고리즘은 데이터 유도 그래프 위에서 다수의 이분 최대 가중치 매칭 문제로 희소 주성분 분석을 재구성한다.
• 변형된 데이터 표현 위에서 조합적 매칭 문제를 연속적으로 해결함으로써, 서로 이질적인 지지집합을 가진 k개의 희소 성분을 동시에 계산한다.
• 입력 공분산 행렬의 스펙트럼 스케치를 활용하여 계산 비용을 감소시키며, 데이터의 낮은 랭크 근사치 위에서 작동한다.
• 스펙트럼 경계를 사용하여 이론적 보장을 도출하며, 임의의 ε > 0 및 고정된 k에 대해 OPT − ε·s 이내의 설명 분산을 확보하는 덧셈형 PTAS를 도출한다.
• 알고리즘은 잠재 차원 d에 대해 다항식 시간이지만 공분산 행렬의 랭크에 대해 지수 시간이 되는 것으로 설계되었으며, 스케치를 통해 이를 완화한다.
• 반복적 디플레이션을 피함으로써, 성분을 동시에 최적화함으로써 분산 확보를 유지한다.

실험 결과

연구 질문

• RQ1 서로 다른 지지집합을 가진 다중 이질적 희소 성분에 대해 공동 최적화 접근법이 그레디브 디플레이션 기반 방법보다 우월한가?
• RQ2 다중 성분 희소 주성분 분석에 기반한 이분 매칭 기반 조합 알고리즘의 이론적 근사 품질은 어떠한가?
• RQ3 낮은 랭크 스케치는 제안된 방법의 근사 보장과 계산 복잡도에 어떤 영향을 미치는가?
• RQ4 실제 데이터셋에서 상태 기반의 디플레이션 기반 SPCA 방법에 비해 알고리즘이 분산 확보를 얼마나 향상시키는가?
• RQ5 스펙트럼 감쇠 가정 하에 알고리즘이 희소 주성분 분석에 대해 덧셈형 PTAS를 달성할 수 있는가?

주요 결과

• 제안된 SPCABiPart 알고리즘은 최적 해에서 덧셈 오차 ε·s 이내의 설명 분산을 확보하여, 희소 주성분 분석에 대해 덧셈형 PTAS를 확립한다.
• k=8 및 s=20인 NYTimes BagOfWords 데이터셋에서 SPCABiPart는 총 분산의 54.89%를 확보하였으며, SpanSPCA(52.81%) 및 TPower(50.77%)를 모두 능가하였다.
• 알고리즘은 이질적 지지집합을 가진 성분을 사용할 때 그레디브 디플레이션 기반 방법들에 비해 일관된 경험적 슈퍼리오리티를 보였다.
• 이론적 분석에 따르면 알고리즘의 근사 비율은 임의로 1에 가까워질 수 있으며, 오차는 스케치 단계에서의 스펙트럼 감쇠에 의해 제한된다.
• 이 방법의 복잡도는 잠재 차원 d에 대해 다항식으로 증가하지만, 공분산 행렬의 랭크에 대해 지수적으로 증가하며, 낮은 랭크 스케치를 통해 이를 완화한다.
• 섹션 7의 단순한 예시는 그레디브 디플레이션이 최적성이 아님을 보여주며, 공동 최적화의 필요성을 정당화한다.