[논문 리뷰] Fast and Effective Algorithms for Symmetric Nonnegative Matrix Factorization

Reza Borhani, Jeremy Watt외 1명|arXiv (Cornell University)|2016. 09. 17.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 대칭 비음수 행렬 분해(SNMF)를 위한 두 가지 빠르고 효과적인 알고리즘을 제안한다: 수렴성이 증명된 가속화된 프록시멀 기울기(APG) 기반 알고리즘과 히우리스틱적인 분할 방법 다중 승수법(ADMM) 프레임워크를 사용한 알고리즘. ADMM 기반 알고리즘은 최신 기술 수준의 방법보다 1–2개 정도의 주기 빠른 계산 성능를 보이며, 기존 최고 수준의 접근 방식과 비교해도 클러스터링 성능를 유지한다.

ABSTRACT

Symmetric Nonnegative Matrix Factorization (SNMF) models arise naturally as simple reformulations of many standard clustering algorithms including the popular spectral clustering method. Recent work has demonstrated that an elementary instance of SNMF provides superior clustering quality compared to many classic clustering algorithms on a variety of synthetic and real world data sets. In this work, we present novel reformulations of this instance of SNMF based on the notion of variable splitting and produce two fast and effective algorithms for its optimization using i) the provably convergent Accelerated Proximal Gradient (APG) procedure and ii) a heuristic version of the Alternating Direction Method of Multipliers (ADMM) framework. Our two algorithms present an interesting tradeoff between computational speed and mathematical convergence guarantee: while the former method is provably convergent it is considerably slower than the latter approach, for which we also provide significant but less stringent mathematical proof regarding its convergence. Through extensive experiments we show not only that the efficacy of these approaches is equal to that of the state of the art SNMF algorithm, but also that the latter of our algorithms is extremely fast being one to two orders of magnitude faster in terms of total computation time than the state of the art approach, outperforming even spectral clustering in terms of computation time on large data sets.

연구 동기 및 목표

• 그래프 기반 및 스펙트럼 클러스터링의 핵심 문제인 대칭 비음수 행렬 분해(SNMF)를 위한 효율적인 최적화 알고리즘 개발.
• 기존 SNMF 솔버의 계산 병목 현상을 변수 분할과 현대 최적화 프레임워크를 활용해 해결.
• 이론적 수렴 보장과 계산 속도 사이의 균형을 위해, 수렴성이 보장되는 APG 기반 방법과 더 빠른 히우리스틱 ADMM 기반 방법을 도입.
• 제안된 ADMM 기반 알고리즘이 대규모 데이터셋에서 최신 기술 수준의 SNMF 방법 뿐 아니라 스펙트럼 클러스터링보다도 실행 시간 측면에서 뛰어나다는 것을 입증.

제안 방법

• 대칭 분해 제약 조건을 분리하기 위해 변수 분할을 사용해 SNMF 문제를 재구성함으로써 고급 최적화 기법의 적용을 가능하게 한다.
• 재구성된 문제에 대해 가속화된 프록시멀 기울기(APG) 방법을 적용하여 이론적 보장이 있는 전역 수렴을 확보한다.
• 동일한 재구성 문제에 대해 히우리스틱적인 ADMM 프레임워크를 개발하여 стрict한 수렴 증명을 포기하고 계산 속도를 크게 향상시킨다.
• 이차 페널티 방법과 이중 상승 업데이트를 사용해 보완 라그랑주식을 해결하며, 변수 X, Y, L, Λ, 및 Γ에 대한 반복적 업데이트를 수행한다.
• ADMM 업데이트에서 L에 대해 소프트 스레셔딩 투영 단계를 구현하여 비음수성과 타당성을 강제한다.
• 수렴 조건을 유도하고, 약한 가정 하에 ADMM 수열의 임의의 극한점이 원래 SNMF 문제의 KKT 조건을 만족함을 증명한다.

실험 결과

연구 질문

• RQ1 변수 분할과 현대 최적화 프레임워크가 클러스터링 정확도를 유지하면서 SNMF의 계산 속도를 향상시키는 데 효과적으로 적용될 수 있는가?
• RQ2 ADMM 기반 SNMF 솔버의 성능은 속도와 클러스터링 품질 측면에서 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ3 SNMF 최적화에서 수렴 보장와 계산 효율성 사이의 상호 교환 조건은 무엇인가?
• RQ4 히우리스틱적 ADMM 변형이 대규모 데이터셋에서 스펙트럼 클러스터링보다 계산 시간 측면에서 뛰어나게 성능을 냈는가?
• RQ5 제안된 ADMM 알고리즘이 원래 SNMF 문제의 KKT 점으로 수렴하는 조건은 무엇인가?

주요 결과

• ADMM 기반 알고리즘은 수천 개의 데이터 포인트를 포함하는 중간 크기의 데이터셋에서 최신 기술 수준의 SNMF 방법보다 1–2개 정도의 주기 빠른 계산 성능를 보였다.
• 대규모 데이터셋에서 ADMM 기반 알고리즘이 스펙트럼 클러스터링보다 계산 시간 측면에서 뛰어나며, 더 뛰어난 확장성을 보였다.
• 제안된 두 알고리즘 모두 기존 최고 수준의 SNMF 방법과 유사한 클러스터링 효능을 달성하여 그 효과성을 확인했다.
• APG 기반 방법은 수렴성이 보장되어 있어 강력한 이론적 보장을 제공하지만, ADMM 변형보다 상당히 느린 실행 속도를 보였다.
• ADMM 기반 방법은 연속적인 반복 간의 차이가 0으로 수렴하는 가정 하에 원래 SNMF 문제의 KKT 점으로 수렴함을 증명했다.
• ADMM 변형의 수렴 증명은 APG에 비해 덜 엄격하지만 여전히 극한점이 원래 문제의 KKT 조건을 만족함을 입증했다.