[논문 리뷰] Statistical Limits of Convex Relaxations

Zhaoran Wang, Quanquan Gu외 1명|arXiv (Cornell University)|2015. 03. 04.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 3

한 줄 요약

이 논문은 고차원 희박 추정 문제에서 볼록 리라크스레이션—특히 합의 제곱(SoS) 계층 구조—가 계산 가능성 확보를 위해 통계적 최적성에 희생을 치르는 것을 입증한다. 저자들은 SoS 리라크스레이션의 타당해를 구성함으로써, 정보 이론적 하한과 볼록 리라크스레이션 하에서 달성 가능한 오차율 사이에 √s∗의 근본적 격차를 증명하며, 이는 희박 주성분 하위행렬 및 스토하스틱 블록 모델 추정에서 계산 효율성 확보가 통계 성능 저하를 수반한다는 것을 보여준다.

ABSTRACT

Many high dimensional sparse learning problems are formulated as nonconvex optimization. A popular approach to solve these nonconvex optimization problems is through convex relaxations such as linear and semidefinite programming. In this paper, we study the statistical limits of convex relaxations. Particularly, we consider two problems: Mean estimation for sparse principal submatrix and edge probability estimation for stochastic block model. We exploit the sum-of-squares relaxation hierarchy to sharply characterize the limits of a broad class of convex relaxations. Our result shows statistical optimality needs to be compromised for achieving computational tractability using convex relaxations. Compared with existing results on computational lower bounds for statistical problems, which consider general polynomial-time algorithms and rely on computational hardness hypotheses on problems like planted clique detection, our theory focuses on a broad class of convex relaxations and does not rely on unproven hypotheses.

연구 동기 및 목표

• 볼록 리라크스레이션, 특히 합의 제곱(SoS) 계층 구조의 통계적 한계를 고차원 희박 추정 문제에서 규명하는 것.
• s∗ = o(d / √log d)^(2/3) 이며 log d = o(s∗)인 도전적인 영역에서 볼록 리라크스레이션이 정보 이론적 하한을 달성할 수 있는지 조사하는 것.
• 최적의 통계적 속도와 볼록 리라크스레이션을 통한 달성 가능한 속도 사이의 격차를, 비정상적인 계산 난이도 가정 없이 확립하는 것.
• 조금이라도 더 타당한 볼록 리라크스레이션인 SoS 계층 구조조차도 계산 가능성 요구 조건 하에서 최적의 통계 성능을 달성하지 못한다는 것을 보여주는 것.

제안 방법

• 비볼록 희박 추정 문제를 근사하기 위해 반정형계획법 기반의 점점 더 타당한 볼록 리라크스레이션으로 구성된 합의 제곱(SoS) 계층 구조를 사용한다.
• 하위그래프 및 하위행렬의 전개 성질에 기반한 이중 증명을 구성하여 SoS 계층 구조 내 해의 타당성을 검증한다.
• 계산 감소나 난이도 가정에 의존하지 않고, 구성 기반 증명 전략을 적용한다.
• 크기가 ℓ인 부분집합에 따라 인덱싱된 행렬 Π(ℓ)을 정의하며, 주어진 집합에서 확장된 2ℓ×2ℓ 전부 1인 하위행렬의 수를 사용해 요소를 구성한다.
• 집중 불등식과 서브가우시안 尾 확률 경계를 사용하여, 구성된 Π(ℓ)가 높은 확률로 양의 준정적행렬임을 보여준다.
• SoS 프로그램의 목적값과 마르코프 부등식을 조합하여 추정 오차의 하한을 유도하며, 계층 내 모든 추정기들이 최소 C′의 오차를 지닐 것임을 보여준다.

실험 결과

연구 질문

• RQ1 볼록 리라크스레이션, 예를 들어 SoS 계층 구조가 희박 주성분 하위행렬 및 스토하스틱 블록 모델 추정에서 정보 이론적 하한을 달성할 수 있는가?
• RQ2 고차원 희박 추정에서 계산 가능성 확보를 위해 볼록 리라크스레이션을 사용할 경우 통계적 최적성에 어떤 근본적 비용이 발생하는가?
• RQ3 최적 추정기와 볼록 리라크스레이션 기반 추정기 사이의 성능 격차가 희박 수준 s∗에 따라 달라지는가?
• RQ4 비정상적인 계산 난이도 가정 없이도 이 격차를 정량화할 수 있는가?
• RQ5 가장 타당한 볼록 리라크스레이션인 SoS 계층 구조조차도 계산적으로 불가능한 추정기와 비교해 통계적으로 열등한가?

주요 결과

• 계산적으로 불가능한 추정기는 희박 주성분 하위행렬 및 스토하스틱 블록 모델 추정에서 모두 순서 √(1/s∗ · log(d/s∗))의 정보 이론적 하한을 달성할 수 있다.
• SoS 계층 구조(또는 더 약한 볼록 리라크스레이션 계층 구조) 내의 모든 추정기는 s∗와 무관하게 순서 C′의 오차 하한을 지닌다. 이는 근본적인 통계적 비용을 의미한다.
• 최적의 속도와 볼록 리라크스레이션을 통한 달성 가능한 속도 사이의 격차는 순서 √s∗이며, 이는 ℓ번째 수준 SoS에 대해 s∗ = o((d / log d)^(1/2ℓ))인 영역에서 정량적으로 확립된다.
• 희박 주성분 하위행렬 추정에서, SoS 계층 내 선형 시간 추정기는 하한을 로그 인자 정도의 오차 범위 내에서 달성하며, 이는 이 클래스 내에서 거의 최적임을 보여준다.
• 증명은 Meka 등(2015)의 영감을 받은 이중 증명을 기반으로 하는 구성 기반 접근법을 사용하며, 심은 클리크 문제와 같은 어려운 문제로의 감소를 피한다.
• 이 결과들은 비정상적인 계산 난이도 가정 없이도 성립하며, 이는 이전의 통계적 계산 하한과의 주요 차이점이다.