[논문 리뷰] Hanson-Wright inequality in Hilbert spaces with application to $K$-means clustering for non-Euclidean data

Xiaohui Chen, Yun Yang|arXiv (Cornell University)|2018. 10. 26.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 분리 가능한 힐버트 공간 내의 서브가우시안 난수 변수에 대한 이차형식에 대해 차원에 의존하지 않는 핸슨-하우이트 부등식을 수립하며, 고전적인 유한차원 결과를 일반화한다. 이 부등식을 응용하여 비유클리드 데이터에 대한 일반화된 K-평균 클러스터링의 준엄한 완화 문제에서 지수적 수렴 속도를 증명함으로써, 라운딩 알고리즘을 통해 정확한 복원이 가능함을 보인다.

ABSTRACT

We derive a dimension-free Hanson-Wright inequality for quadratic forms of independent sub-gaussian random variables in a separable Hilbert space. Our inequality is an infinite-dimensional generalization of the classical Hanson-Wright inequality for finite-dimensional Euclidean random vectors. We illustrate an application to the generalized $K$-means clustering problem for non-Euclidean data. Specifically, we establish the exponential rate of convergence for a semidefinite relaxation of the generalized $K$-means, which together with a simple rounding algorithm imply the exact recovery of the true clustering structure.

연구 동기 및 목표

• 서브가우시안 난수 변수에 대해 분리 가능한 힐버트 공간에서 차원에 의존하지 않는 핸슨-하우이트 부등식을 유도함으로써 고전적인 유한차원 결과를 확장한다.
• 계산적으로 다룰 수 있고 다항식 시간 내에 수행 가능한 알고리즘을 사용하여 비선형 특징을 가진 비유클리드 데이터의 클러스터링 문제를 해결한다.
• 일반화된 K-평균 클러스터링 문제의 준엄한 완화에 대해 강력한 통계적 보장을, 특히 목적 함수의 수렴 속도가 지수적임을 확립한다.
• 준엄한 완화와 단순한 라운딩 절차를 조합하여 진짜 클러스터링 구조를 정확히 복원할 수 있음을 보여준다.
• 핵심 기반의 히وري스틱 그레디 알고리즘에 대한 이론적 복원 보장을 제공하는 원칙적인 대안을 제시한다.

제안 방법

• 중앙화된 서브가우시안 난수 변수가 분리 가능한 힐버트 공간에 값을 취하는 경우, 희귀도와 연산자 노름을 통해 정의된 노름을 사용하여 힐버트 공간 버전의 핸슨-하우이트 부등식을 유도한다.
• 트레이스-클래스 공분산 연산자 Γ를 사용하여 힐버트 공간 내 서브가우시안 난수 변수의 개념을 도입하며, 연산자 노름과 트레이스 노름을 통해 서브가우시안 노름을 정의한다.
• 무한차원 핸슨-하우이트 부등식을 비유클리드 데이터에 대한 일반화된 K-평균 클러스터링의 맥락에서 이차형식의 농도를 분석하는 데 적용한다.
• 부등식을 사용하여 준엄한 완화 목적 함수가 기대값에서 벗어나지 않는 지수 꼬리 바ounds를 확립한다.
• 에러를 통제하고 수렴 속도를 유도하기 위해 단조성 재정렬 보조정리(Lemma A.5)를 활용한다.
• 농도 바ounds를 라운딩 알고리즘과 결합하여, 준엄한 완화의 최적 해가 높은 확률로 진짜 클러스터링 구조를 정확히 복원함을 보여준다.

실험 결과

연구 질문

• RQ1 고전적인 핸슨-하우이트 부등식은 서브가우시안 난수 변수에 대해 무한차원 힐버트 공간으로 일반화될 수 있는가?
• RQ2 이러한 무한차원 핸슨-하우이트 부등식은 힐버트 공간 내 이차형식에 대해 차원에 의존하지 않는 농도 바ounds를 제공하는가?
• RQ3 이 일반화된 부등식을 사용하여 비유클리드 데이터에 대한 일반화된 K-평균 클러스터링의 준엄한 완화에 대해 강력한 통계적 보장을 확립할 수 있는가?
• RQ4 서브가우시안 노이즈 하에서 일반화된 K-평균 클러스터링 문제의 준엄한 완화가 진짜 클러스터링 구조를 정확히 복원하는가?
• RQ5 농도 바ounds가 확보된 상태에서 단순한 라운딩 알고리즘이 준엄한 완화 해로부터 정확한 클러스터링을 높은 확률로 복원할 수 있는가?

주요 결과

• 서브가우시안 난수 변수의 이차형식에 대해 분리 가능한 힐버트 공간에서 차원에 의존하지 않는 핸슨-하우이트 부등식이 수립되었으며, 꼬리 바ounds는 서브가우시안 노름과 행렬의 연산자 노름에만 의존한다.
• 부등식은 절단 논증과 유한차원 근사의 수렴에 기반하며, 단조 수렴 정리와 트레이스-클래스 연산자의 성질에 의존한다.
• 이차형식에 대한 지수 꼬리 바ounds는 $ \text{Pr}(|X^T A X - \text{E}[X^T A X]| \rangle t) \rangle 2\text{exp}\big[-C \text{min}(t^2 / (L^4 \rVert A \rVert_{\text{HS}}^2), t / (L^2 \rVert A \rVert_{\text{op}}))\big] $ 형태이며, 여기서 $ L $ 은 서브가우시안 노름이다.
• 힐버트 공간 내 일반화된 K-평균 클러스터링 문제에서, 준엄한 완화는 목적 함수의 기대값에서의 편차에 대해 지수적 수렴 속도를 달성한다.
• 농도 바ounds는 노이즈 수준이 충분히 낮을 경우, 준엄한 완화의 최적 해가 높은 확률로 진짜 클러스터링 구조를 정확히 복원함을 암시한다.
• 준엄한 완화 해에 단순한 라운딩 알고리즘을 적용하면 진짜 클러스터링을 정확히 복원할 수 있으며, 이는 비유클리드 데이터 클러스터링에 대해 계산적으로 다룰 수 있고 통계적으로 일致된 방법을 제공한다.