[논문 리뷰] Dropping Symmetry for Fast Symmetric Nonnegative Matrix Factorization

Zhihui Zhu, Xiao Li외 2명|arXiv (Cornell University)|2018. 11. 14.

Face and Expression Recognition인용 수 11

한 줄 요약

이 논문은 대칭 비음수 행렬 분해(Symmetric NMF)를 비대칭 NMF 문제로 재구성하고, 두 요소 간의 등가성을 강제하는 정규화 항을 도입함으로써, 대칭 NMF의 가속화를 위한 새로운 프레임워크를 제안한다. 비대칭 NMF에 적합한 교대 최소화 알고리즘을 활용함으로써, 이 방법은 전역 수렴을 비선형 수렴 속도로 보장하며, 이러한 알고리즘에 대해 대칭 NMF에서 처음으로 엄밀한 수렴 보장을 제공한다.

ABSTRACT

Symmetric nonnegative matrix factorization (NMF), a special but important class of the general NMF, is demonstrated to be useful for data analysis and in particular for various clustering tasks. Unfortunately, designing fast algorithms for Symmetric NMF is not as easy as for the nonsymmetric counterpart, the latter admitting the splitting property that allows efficient alternating-type algorithms. To overcome this issue, we transfer the symmetric NMF to a nonsymmetric one, then we can adopt the idea from the state-of-the-art algorithms for nonsymmetric NMF to design fast algorithms solving symmetric NMF. We rigorously establish that solving nonsymmetric reformulation returns a solution for symmetric NMF and then apply fast alternating based algorithms for the corresponding reformulated problem. Furthermore, we show these fast algorithms admit strong convergence guarantee in the sense that the generated sequence is convergent at least at a sublinear rate and it converges globally to a critical point of the symmetric NMF. We conduct experiments on both synthetic data and image clustering to support our result.

연구 동기 및 목표

• 비대칭 NMF에서 관찰되는 분할 성질의 부재로 인해 대칭 NMF에 대해 효율적이고 빠른 알고리즘이 부족한 문제를 해결한다.
• 비대칭 NMF에서 투영된 경사 하강법(PGD)의 느린 수렴을 극복하기 위해, 빠른 교대 유형 알고리즘의 사용을 가능하게 한다.
• 재구성된 비대칭 문제에 적용된 교대 알고리즘에 대해 이론적 수렴 보장을 확립한다.
• 적절한 정규화 조건 하에서 재구성된 문제의 해가 유효한 대칭 NMF 해를 회복할 수 있음을 보장한다.

제안 방법

• 두 요소 간의 등가성을 강제하기 위해 정규화 항 $\frac{\lambda}{2}\|\boldsymbol{U}-\boldsymbol{V}\|_F^2$ 를 도입함으로써, 대칭 NMF를 비대칭 NMF 문제로 재구성한다.
• 비대칭 NMF에 적합한 교대 최소화 알고리즘(예: HALS, ANLS)을 재구성된 문제에 적용하여 효율성과 수렴 성질을 활용한다.
• 에너지가 유계인 재구성된 문제의 임의의 임계점이 $\lambda$ 가 충분히 클 경우 $\boldsymbol{U} = \boldsymbol{V}$ 를 만족함을 증명한다.
• 목적 함수의 Kurdyka–Łojasiewicz(KL) 성질을 분석함으로써, 반복값의 전역 수렴과 비선형 수렴 속도를 확립한다.
• 비프록시멀 항이나 추가 제약 조건 없이도 수렴성을 유지함을 보여준다.
• 합성 데이터와 이미지 클러스터링 작업에 이 프레임워크를 적용하여 경험적 성능과 수렴 속도를 검증한다.

실험 결과

연구 질문

• RQ1 비대칭 NMF에 일반적으로 사용되는 빠른 교대 유형 알고리즘을 통해 대칭 NMF를 효율적으로 해결할 수 있는가?
• RQ2 재구성된 비대칭 문제의 해가 유효한 대칭 NMF 해를 회복하기 위한 조건은 무엇인가?
• RQ3 정규화된 비대칭 재구성에 적용된 교대 알고리즘에 대해 어떤 수렴 보장을 확립할 수 있는가?
• RQ4 목적 함수의 KL 지수에 따라 제안된 방법의 수렴 속도는 어떻게 의존하는가?
• RQ5 제안된 프레임워크는 대칭 NMF에서 표준 PGD에 비해 수렴 속도 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 재구성은 정규화된 비대칭 문제의 임계점이 충분히 큰 $\lambda$ 를 가질 경우 $\boldsymbol{U} = \boldsymbol{V}$ 를 만족함을 보장하며, 이는 유효한 대칭 NMF 해를 도출한다.
• 재구성된 문제에 적용된 교대 최소화 알고리즘은 대칭 NMF 문제의 임계점으로 전역 수렴한다.
• 알고리즘은 최소한 전역 비선형 수렴 속도를 확보하며, KL 지수 $\theta \in [0, \frac{1}{2}]$ 일 경우 선형 수렴이 가능하다.
• 수렴 속도는 선형 수렴의 경우 $\|\boldsymbol{W}_k - \boldsymbol{W}^\star\|_F \leq \mathcal{O}(\rho^{k-\overline{k}})$ 와 비선형 수렴의 경우 $\mathcal{O}((k - \overline{k})^{-\frac{1-\theta}{2\theta-1}})$ 로 정량적으로 기술된다.
• 합성 데이터와 이미지 클러스터링에 대한 경험적 결과는 표준 PGD에 비해 더 빠른 수렴을 보이며, 제안된 접근의 효율성을 검증한다.
• 이론적 프레임워크는 비프록시멀 항이나 추가 제약 조건 없이도 대칭 NMF에서 교대 유형 알고리즘에 대해 처음으로 엄밀한 수렴 보장을 제공한다.