[논문 리뷰] On the complexity of nonnegative matrix factorization

Stephen A. Vavasis|ArXiv.org|2007. 08. 30.

Image Retrieval and Classification Techniques참고 문헌 6인용 수 8

한 줄 요약

이 논문은 정확한 비음수 행렬 분해(Nonnegative Matrix Factorization, NMF)가 다각체 조합론 문제인 INTERMEDIATE SIMPLEX와의 등가성에 의해 NP-난이도임을 증명함으로써 정확한 NMF의 계산 복잡도를 규명하고, 선형 프로그래밍을 통한 다항시간 국소 탐색 히우리즘의 존재를 보여줌으로써 정확한 NMF의 계산 복잡도를 해결하며, 이는 비음수 질량 결정 문제와 같은 관련 문제들에 대해서도 NP-난이도임을 시사함.

ABSTRACT

Nonnegative matrix factorization (NMF) has become a prominent technique for the analysis of image databases, text databases and other information retrieval and clustering applications. In this report, we define an exact version of NMF. Then we establish several results about exact NMF: (1) that it is equivalent to a problem in polyhedral combinatorics; (2) that it is NP-hard; and (3) that a polynomial-time local search heuristic exists.

연구 동기 및 목표

• 정확한 비음수 행렬 분해(Nonnegative Matrix Factorization, NMF)의 계산 복잡도를 공식적으로 규명하는 것.
• 정확한 NMF가 다각체 조합론에서 알려진 INTERMEDIATE SIMPLEX 문제와 등가임을 보여주는 것.
• INTERMEDIATE SIMPLEX 문제가 NP-난이도임을 증명함으로써 정확한 NMF의 NP-난이도를 확립하는 것.
• 정확한 NMF를 위한 국소 탐색 히우리즘을 선형 프로그래밍을 통해 효과적으로 구현할 수 있음을 보여주는 것.
• NP-난이도 결과를 비음수 질량 결정 문제로 확장하는 것.

제안 방법

• 정수 k에 대한 분해 A = W₀H₀가 주어졌을 때, W₀Q⁻¹과 QH₀가 모두 비음수인 비특이 행렬 Q의 존재 여부를 포함하는 결정 문제로 정확한 NMF를 환원하는 것.
• 정확한 NMF와 INTERMEDIATE SIMPLEX 문제 사이의 다항시간 환원을 통한 등가성 증명.
• NMF의 해공간을 n개의 면을 가진 다면체 P와 m개의 벡터 집합 S로 기하학적 모델링하는 방법을 사용하는 것.
• P에 포함되고 S의 볼록결합에 의해 생성되는 단체 T의 정점 위치를 최적화하기 위해 선형 프로그래밍을 적용하는 것.
• 단일 미지수 정점의 탈출 가능한 위치를 정의하기 위한 선형방정식 및 부등식의 체계를 유도하는 것.
• 단체 내 볼록조합에서 발생하는 비선형 제약을 선형화하기 위해 변수 치환(αi, α*)을 사용하는 것.

실험 결과

연구 질문

• RQ1 정확한 비음수 행렬 분해(Nonnegative Matrix Factorization, NMF)는 계산적으로 어려운 문제이며, 만약 그렇다면 그 복잡도 클래스는 무엇인가?
• RQ2 정확한 NMF는 다각체 조합론 문제로 환원될 수 있으며, 그 등가성의 성격은 무엇인가?
• RQ3 정확한 NMF와 등가인 INTERMEDIATE SIMPLEX 문제의 NP-난이도는 무엇인가?
• RQ4 정확한 NMF를 위한 국소 탐색 히우리즘은 선형 프로그래밍을 통해 효과적으로 공식화하고 해결할 수 있는가?
• RQ5 정확한 NMF의 NP-난이도는 비음수 질량 결정 문제로까지 확장되는가?

주요 결과

• 정확한 NMF는 NP-난이도 문제인 INTERMEDIATE SIMPLEX 문제로의 환원을 통해 NP-난이도임이 증명됨.
• 정확한 NMF는 다각체 조합론의 INTERMEDIATE SIMPLEX 문제와 다항시간 환원을 통해 등가이며, 양방향으로의 환원이 가능함.
• 정확한 NMF를 위한 국소 탐색 히우리즘은 선형 프로그래밍을 통해 실현 가능하며, 탈출 가능한 정점 위치는 다면체를 이룸.
• 단일 미지수 정점의 탈출 가능한 영역은 mk개의 등식과 n + mk개의 부등식으로 정의됨.
• 비음수 질량 결정 문제 역시 정확한 NMF를 일반화하므로 NP-난이도임.
• 증명은 NMF의 어떤 근사형식도 정확한 NMF만큼은 어렵다는 것을 시사하며, 이는 표준 NMF 공식화에 대해서도 NP-난이도임을 의미함.