[논문 리뷰] Sum-of-squares lower bounds for Sparse PCA

Tengyu Ma, Avi Wigderson|arXiv (Cornell University)|2015. 12. 07.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 30

한 줄 요약

이 논문은 희소 주성분 분석(Sparse PCA)에서 통계-계산 갭을 메울 수 없음을 입증하며, 4차 수준의 합의 제곱(SoS) 이완이 조차도 심플한 k-희소 단위 벡터를 탐지하기 위해 n ≈ k²개의 표본이 필요하다는 점을 보여준다. 이는 낮은 차수의 방법들과 동일한 표본 복잡도를 보이며, 고차원 희소 추정에서 SoS 방법의 본질적 한계를 드러낸다.

ABSTRACT

This paper establishes a statistical versus computational trade-off for solving a basic high-dimensional machine learning problem via a basic convex relaxation method. Specifically, we consider the Sparse Principal Component Analysis (Sparse PCA) problem, and the family of Sum-of-Squares (SoS, aka Lasserre/Parillo) convex relaxations. It was well known that in large dimension p, a planted k-sparse unit vector can be in principle detected using only n ≈ k log p (Gaussian or Bernoulli) samples, but all efficient (polynomial time) algorithms known require n ≈ k2 samples. It was also known that this quadratic gap cannot be improved by the the most basic semi-definite (SDP, aka spectral) relaxation, equivalent to a degree-2 SoS algorithms. Here we prove that also degree-4 SoS algorithms cannot improve this quadratic gap. This average-case lower bound adds to the small collection of hardness results in machine learning for this powerful family of convex relaxation algorithms. Moreover, our design of moments (or pseudo-expectations) for this lower bound is quite different than previous lower bounds. Establishing lower bounds for higher degree SoS algorithms for remains a challenging problem.

연구 동기 및 목표

• 더 높은 차수의 합의 제곱(SoS) 이완이 희소 주성분 분석에서 통계-계산 갭을 메울 수 있는지 조사하기.
• 2차 이하의 방법에서 요구하는 n ≈ k² 표본 복잡도를 넘어서 4차 SoS 알고리즘이 개선되는지 여부를 규명하기.
• 희소 고차원 추정의 맥락에서 SoS 알고리즘에 대한 평균적 하한을 설정하기.
• 이 하한을 가능하게 하는 새로운 방식의 모멘트(가짜기대값) 구성법을 개발하기.
• 볼록 이완 기법인 SoS가 특정 고차원 문제에서 계산 효율성 측면에서 내재된 제약를 겪는다는 점에 대한 증거가 점점 더 쌓이고 있음을 기여하기.

제안 방법

• 저자들은 희소 주성분 분석 문제에 대해 4차 수준의 합의 제곱(SoS) 이완의 성능을 분석한다.
• 특정 분포의 심플한 희소 벡터를 구성하고, 4차 수준까지 SoS 제약 조건을 만족하는 가짜기대값 연산자를 정의한다.
• 모멘트(가짜기대값)의 구성은 진정한 분포의 행동을 모방하면서도 낮은 차수의 모멘트와 일관성을 유지하도록 설계된다.
• 증명는 n ≈ k log p개의 표본이 존재할 때, 어떤 4차 SoS 해도 심플한 희소 벡터와 노이즈를 구분할 수 없다는 것을 보여줌으로써 기반한다.
• 이전의 하한 결과와는 달리, 이 접근법은 희소 주성분 분석 문제의 구조에 맞게 조정된 비표준 모멘트 설계를 사용한다.
• 가짜보정(pseudocalibration)과 모멘트 행렬 분석 도구를 조합하여, 비제곱 표본 수 이하에서 성공적인 탐지가 가능하다는 가정이 모순이 됨을 도출한다.

실험 결과

연구 질문

• RQ1 4차 수준의 합의 제곱 이완은 n ≈ k log p개의 표본으로 고차원에서 k-희소 단위 벡터를 탐지할 수 있는가?
• RQ2 SoS 방법이 희소 주성분 분석에서 정보이론적 표본 복잡도에 도달하는 것을 막는 본질적 계산 장벽이 존재하는가?
• RQ3 이전 문제들과는 달리, 희소 주성분 분석에 적용했을 때 SoS 하한에 대한 가짜기대값 설계는 어떻게 다를 수 있는가?
• RQ4 더 높은 차수의 SoS 이완은 스펙트럼 방법과 2차 SoS 방법에서 관찰된 k² 표본 복잡도 갭을 극복할 수 있는가?
• RQ5 고차원 희소 추정 문제를 해결하는 데 있어 볼록 이완 기법인 SoS의 한계는 무엇인가?

주요 결과

• 표본 수가 n ≈ k log p일 때, 4차 수준의 합의 제곱 이완은 고차원에서 심플한 k-희소 단위 벡터를 탐지할 수 없다.
• 이 논문은 심지어 4차 SoS 방법조차도 n ≈ k²개의 표본이 필요하다는 것을 증명하며, 이는 낮은 차수의 스펙트럼 및 SDP 이완과 동일한 표본 복잡도를 보인다.
• 이것은 고차원에서조차도 유지되는 통계적-계산적 상충관계를 입증한다.
• 이 하한은 이전의 접근과 크게 다름을 보이는 새로운 방식의 가짜기대값 구성법을 통해 달성된다.
• 이 결과는 볼록 이완 기법이 고차원 희소 추정에서 내재된 한계를 이해하는 데 기여한다.
• 이러한 발견들은 k² 표본 복잡도 갭을 극복하기 위해서는 비볼록 또는 비-SOS 기반의 방법이 필요할 수 있음을 시사한다.