[논문 리뷰] An Inverse Power Method for Nonlinear Eigenproblems with Applications in 1-Spectral Clustering and Sparse PCA

Matthias Hein, Thomas Bühler|arXiv (Cornell University)|2010. 12. 03.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 143

한 줄 요약

이 논문은 1-스펙트럴 클러스터링과 스파스 PCA에서 발생하는 비선형 고유값 문제를 해결하기 위한 일반화된 역거듭제곱법을 제안한다. 여기서 목적함수와 제약조건은 이차형식이 아닌 p-동차 함수이다. 이 방법은 수렴성이 보장되며, 시뮬레이션 및 실제 데이터셋에서 솔루션 품질과 런타임 면에서 최신 기술을 초월한다.

ABSTRACT

Many problems in machine learning and statistics can be formulated as (generalized) eigenproblems. In terms of the associated optimization problem, computing linear eigenvectors amounts to finding critical points of a quadratic function subject to quadratic constraints. In this paper we show that a certain class of constrained optimization problems with nonquadratic objective and constraints can be understood as nonlinear eigenproblems. We derive a generalization of the inverse power method which is guaranteed to converge to a nonlinear eigenvector. We apply the inverse power method to 1-spectral clustering and sparse PCA which can naturally be formulated as nonlinear eigenproblems. In both applications we achieve state-of-the-art results in terms of solution quality and runtime. Moving beyond the standard eigenproblem should be useful also in many other applications and our inverse power method can be easily adapted to new problems.

연구 동기 및 목표

• 기계학습에서 표준 이차 고유값 문제의 한계를 해결하기 위해, 더 넓은 범주인 제약조건이 있는 최적화 문제를 비선형 고유값 문제로 재구성하는 것.
• 목적함수와 제약조건이 p-동차, 볼록, 리프시츠 연속일 때 비선형 고유벡터를 계산하는 일반적인 목적의 수렴성 보장 알고리즘을 개발하는 것.
• 비선형 수식이 더 나은 클러스터링 및 희소성-해석 가능성 트레이드오프를 제공하는 두 가지 핵심 비지도 학습 문제인 1-스펙트럴 클러스터링과 스파스 PCA에 제안된 방법을 적용하는 것.
• 기존 방법들과 비교하여 벤치마크 데이터셋에서 솔루션 품질과 계산 효율성 면에서 모두 우수한 성능을 보임을 보여주는 것.

제안 방법

• 비선형 고유값 문제를 비율 $ F(f) = R(f)/S(f) $ 의 임계점으로 설정하며, 여기서 $ R $ 과 $ S $ 는 p-동차, 볼록, 짝수, 리프시츠 연속 함수이다.
• 일반화된 역거듭제곱법(IPM)을 유도하여 반복적으로 $ f^{k+1} = \arg\max_{\|f\|_p=1} \langle f, \nabla R(f^k) \rangle $ 를 갱신하고, 제약조건 $ S(f) = 1 $ 를 유지하기 위해 정규화를 수행함으로써 비선형 고유벡터로의 수렴을 보장한다.
• 비미분 가능성 문제를 해결하기 위해 클락의 일반화된 도함수를 사용하며, 임계점을 $ 0 \in \partial F(f) $ 로 정의함으로써 $ \ell_1 $-노름과 같은 비미분 함수에도 적용 가능하게 한다.
• 1-스펙트럴 클러스처링에 적용하기 위해 1-라플라시안 고유값 문제를 IPM로 해결하며, 총 변화량 유사 정규화를 사용한다.
• 스파스 PCA에 동일한 프레임워크를 적용하기 위해 레일리 몫에 $ \ell_1 $-정규화를 통합함으로써 희소성을 확보하는 소프트 스레셔딩이 포함된 거듭제곱법을 도입한다.
• 선형 탐색과 정규화 단계를 활용하여 $ \ell_2 $ 또는 $ \ell_1 $-기준으로 단위 노름을 유지함으로써 안정성과 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 비이차형, p-동차 최적화 문제에 대해 비선형 고유벡터로 수렴하는 일반화된 역거듭제곱법을 개발할 수 있는가?
• RQ2 1-스펙트럴 클러스터링에서 제안된 IPM는 기존 방법들과 비교해 수렴 보장과 계산 효율성 면에서 어떻게 성능을 내는가?
• RQ3 동일한 프레임워크를 스파스 PCA에 적용하여 설명 분산과 희소성 사이의 더 나은 트레이드오프를 달성할 수 있는가?
• RQ4 실제 데이터셋에서 최신 기술 대비 솔루션 품질과 런타임 면에서 모두 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 역거듭제곱법은 TV 기반 방법(Szlam & Bresson, 2011)과 달리 1-라플라시안의 비선형 고유벡터로 수렴성이 보장된다.
• 2-반달 데이터셋에서 1-스펙트럴 클러스터링을 수행한 결과, IPM은 평균 비율 체거 컷(RCC)가 0.0195 (±0.0015)를 기록하였으며, TV 기반 방법과 동일하고 표준 스펙트럴 클러스터링(0.0247)보다 뚜렷이 뛰어나다.
• MNIST 및 USPS 데이터셋에서 IPM은 각각 최고의 RCut 값(0.1507 및 0.6661)을 기록하였으며, 표준 스펙트럴 클러스터링과 TV 기반 방법 모두를 능가하였다.
• 스파스 PCA에서 IPM는 솔루션 품질이 최신 기술(예: L1 기반 거듭제곱법 및 EM 기반 알고리즘)과 구분되지 않으며, 설명 분산과 희소성 사이의 트레이드오프 곡선도 동일하다.
• 2-라플라시안의 두 번째 고유벡터로 초기화된 단일 실행에서도 높은 성능를 유지하며, 이분 파artitions의 경우 표준 스펙트럴 클러스터링보다 최소한 동등한 컷 성능를 기록한다.
• 런타임 성능는 TV 기반 방법과 유사하며, 둘 다 MNIST(70,000개 점)와 같은 대규모 데이터셋에 대해 효율적이고 확장 가능하다.