[논문 리뷰] Computing a Nonnegative Matrix Factorization -- Provably

Sanjeev Arora, Rong Ge외 2명|arXiv (Cornell University)|2011. 11. 03.

graph theory and CDMA systems인용 수 8

한 줄 요약

이 논문은 실용적 응용에서 핵심 가정인 분리 가능성 조건 하에서 비음수 행렬 분해(NMF)에 대한 최초의 다항시간 알고리즘을 제시한다. 정확한 및 근사 NMF가 임의의 고정된 내부 차원 r에 대해 다항시간에 해결될 수 있음을 증명하며, 이 경계에 대한 힘 있는 하한 결과를 제시하여, 이 경계를 크게 향상시키면 3-SAT에 대한 지수적 시간 이하의 알고리즘이 존재하게 된다는 것을 보여준다.

ABSTRACT

In the Nonnegative Matrix Factorization (NMF) problem we are given an $n imes m$ nonnegative matrix $M$ and an integer $r > 0$. Our goal is to express $M$ as $A W$ where $A$ and $W$ are nonnegative matrices of size $n imes r$ and $r imes m$ respectively. In some applications, it makes sense to ask instead for the product $AW$ to approximate $M$ -- i.e. (approximately) minimize $ orm{M - AW}_F$ where $ orm{}_F$ denotes the Frobenius norm; we refer to this as Approximate NMF. This problem has a rich history spanning quantum mechanics, probability theory, data analysis, polyhedral combinatorics, communication complexity, demography, chemometrics, etc. In the past decade NMF has become enormously popular in machine learning, where $A$ and $W$ are computed using a variety of local search heuristics. Vavasis proved that this problem is NP-complete. We initiate a study of when this problem is solvable in polynomial time: 1. We give a polynomial-time algorithm for exact and approximate NMF for every constant $r$. Indeed NMF is most interesting in applications precisely when $r$ is small. 2. We complement this with a hardness result, that if exact NMF can be solved in time $(nm)^{o(r)}$, 3-SAT has a sub-exponential time algorithm. This rules out substantial improvements to the above algorithm. 3. We give an algorithm that runs in time polynomial in $n$, $m$ and $r$ under the separablity condition identified by Donoho and Stodden in 2003. The algorithm may be practical since it is simple and noise tolerant (under benign assumptions). Separability is believed to hold in many practical settings. To the best of our knowledge, this last result is the first example of a polynomial-time algorithm that provably works under a non-trivial condition on the input and we believe that this will be an interesting and important direction for future work.

연구 동기 및 목표

• 내부 차원 r이 작을 때 NMF가 효율적으로 계산될 수 있는지에 대한 오랫동안 미해결된 열린 문제를 다루기 위해.
• 특히 많은 실제 데이터 시나리오에서 성립하는 분리 가능성 조건에 초점을 맞추어, NMF가 어떤 조건에서 다항시간으로 해결 가능한지 규명하기 위해.
• 3-SAT의 복잡도에 기반한 하한 결과를 증명하여 NMF 알고리즘의 효율성에 대한 이론적 한계를 설정하기 위해.
• 유의미한 가정 하에서 작동하며, 분리 가능성 조건 하에서 증명 가능하게 정확한 실용적인 노이즈 내성 알고리즘을 제공하기 위해.

제안 방법

• 내부 차원 r이 상수일 때 정확한 및 근사 NMF에 대한 다항시간 알고리즘을 제안하며, 볼록 최적화와 에psilon-넷을 이용한 벡터 열거를 사용한다.
• 선형 제약 조건 하에서 이차 목표 함수를 최소화하기 위해 볼록 프로그램을 활용하며, 목표는 진짜 분해를 근사하면서도 비음성 조건을 유지하는 것이다.
• 두 단계 접근법을 사용한다: 먼저 볼록 완화를 통해 기저 행렬 W를 추정하고, 그 다음 최소 제곱 문제를 풀어 A를 복원함으로써 프로베니우스 노름 오차를 최소화한다.
• 분리 가능성 조건을 활용하여 노이즈 내성 버전을 도입하며, 여기서 한 요소 행렬의 열 중 일부는 원래 행렬의 정확한 열을 포함한다.
• r차원 공간 내 단위 벡수에 대한 넷 기반 검색을 적용하여 진짜 분해 방향을 근사하며, 정밀도 파라미터에 의해 오차 한계를 제어한다.
• 근사된 벡터를 사용할 경우 目표 함수의 변동을 경계함으로써 이론적 보장을 도출하며, 이로 인해 해가 작은 오차 범위 내에 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 내부 차원 r이 작을 때 비음수 행렬 분해(NMF)를 다항시간에 해결할 수 있는가?
• RQ2 입력 행렬 M에 어떤 구조적 조건이 성립하면 NMF가 다항시간으로 해결 가능해지며, 이러한 조건을 알고리즘적으로 활용할 수 있는가?
• RQ3 NMF 알고리즘의 실행 시간과 3-SAT와 같은 NP-난해 문제의 복잡도 사이에 증명 가능한 트레이드오프가 존재하는가?
• RQ4 실제 가정 하에서 실용적이고 노이즈에 강건한 근사 NMF를 위한 다항시간 알고리즘을 설계할 수 있는가?
• RQ5 NMF 알고리즘의 효율성 이론적 한계는 무엇이며, 이는 복잡도 이론적 감소를 통해 특징지을 수 있는가?

주요 결과

• 논문은 내부 차원 r이 상수일 때 정확한 및 근사 NMF에 대한 다항시간 알고리즘을 제시하며, 계산학 이론 분야에서 오랫동안 미해결된 문제를 해결한다.
• 정확한 NMF가 시간 (nm)^o(r) 이내에 해결될 수 있다면, 3-SAT에 대한 지수적 시간 이하의 알고리즘이 존재하게 되며, 이는 표준 복잡도 가정 하에 실행 시간에 대한 날카로운 하한을 제시한다.
• 분리 가능성 조건 하에서 저자들은 다항시간 알고리즘을 설계하였으며, 이는 노이즈에 강건하고 실용적으로 유용하며, 비트리비얼한 입력 조건 하에서 NMF에 대해 처음으로 증명 가능한 정확성을 확보한 알고리즘이다.
• δ = √ε / r^{1/4} 일 때, 알고리즘은 근사 오차를 O(ε^{1/2} r^{1/4}) ||M||_F 수준으로 달성하며, 이는 분해 오차에 대한 구체적인 정량적 경계를 제공한다.
• 알고리즘에서 사용된 볼록 완화 접근법은 기저 벡터의 소규모 변동에 대해 안정적이며, 입력의 노이즈에 대한 강건성을 보장한다.
• 본 연구는 분리 가능성 조건이 다항시간으로 해결 가능한 것 외에도, 향후 알고리즘 개발을 위한 유망한 방향임을 입증하며, 실용적이고 증명 가능한 해결책을 가능하게 한다.