[논문 리뷰] Nonnegative Factorization and The Maximum Edge Biclique Problem

Nicolas Gillis, François Glineur|ArXiv.org|2008. 10. 23.

Graph Theory and Algorithms참고 문헌 39인용 수 51

한 줄 요약

이 논문은 비음수 행렬 분해(NMF)의 일반화인 비음수 분해(NF)를 소개한다. NF는 음수가 포함된 실수 행렬도 두 개의 비음수 행렬의 곱으로 근사할 수 있도록 허용한다. NF가 최대 간선 이분클리크 문제로의 환원을 통해 NP-난이도임을 증명하고, 다중 곱셈 업데이트를 NF로 일반화하며, 이러한 업데이트를 기반으로 한 새로운 이분클리크 탐색 알고리즘을 제안한다. 이 알고리즘은 반복당 O(|E|) 시간 복잡도를 가지며, 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Nonnegative Matrix Factorization (NMF) is a data analysis technique which allows compression and interpretation of nonnegative data. NMF became widely studied after the publication of the seminal paper by Lee and Seung (Learning the Parts of Objects by Nonnegative Matrix Factorization, Nature, 1999, vol. 401, pp. 788--791), which introduced an algorithm based on Multiplicative Updates (MU). More recently, another class of methods called Hierarchical Alternating Least Squares (HALS) was introduced that seems to be much more efficient in practice. In this paper, we consider the problem of approximating a not necessarily nonnegative matrix with the product of two nonnegative matrices, which we refer to as Nonnegative Factorization (NF); this is the subproblem that HALS methods implicitly try to solve at each iteration. We prove that NF is NP-hard for any fixed factorization rank, using a reduction to the maximum edge biclique problem. We also generalize the multiplicative updates to NF, which allows us to shed some light on the differences between the MU and HALS algorithms for NMF and give an explanation for the better performance of HALS. Finally, we link stationary points of NF with feasible solutions of the biclique problem to obtain a new type of biclique finding algorithm (based on MU) whose iterations have an algorithmic complexity proportional to the number of edges in the graph, and show that it performs better than comparable existing methods.

연구 동기 및 목표

• 비음수 분해(NF)를 정식화하고 분석함으로써, 음수가 아닌 행렬 또는 음수가 부족한 행렬의 근사가 가능한 NMF의 일반화를 다루는 것.
• 최대 간선 이분클리크 문제로의 환원을 통해, 고정된 랭크에 대해 NF의 계산 복잡도가 NP-난이도임을 증명함으로써 NF의 계산 복잡도를 확립하는 것.
• NMF에서의 다중 곱셈 업데이트 규칙을 NF로 일반화함으로써, 다중 곱셈 업데이트와 HALS 간의 성능 차이에 대한 새로운 이론적 통찰을 제공하는 것.
• NF와 다중 곱셈 업데이트를 기반으로 한 새로운 휴리스틱 알고리즘을 제안함으로써 최대 간선 이분클리크 문제를 해결하며, 반복당 낮은 복잡도를 갖는 것.
• 제안된 이분클리크 탐색 알고리즘이 DIMACS 및 무작위 그래프 벤치마크에서 기존 방법보다 뛰어난 성능을 보임을 경험적으로 입증하는 것.

제안 방법

• NF의 NP-난이도를 입증하기 위해 최대 간선 이분클리크 문제를 랭크-1 비음수 분해(NF-1d) 문제로 환원한다.
• 비음수 제약 조건 하에 잔차 행렬의 프로베니우스 노름을 최소화하는 방식으로 NMF의 다중 곱셈 업데이트 알고리즘을 NF로 일반화한다.
• NF 설정에서의 희소성 제어 및 잔차 행렬 내 음수 요소의 제거를 위해 동적 매개변수 d를 도입함으로써, 반올림을 통한 이분클러스터링이 가능하도록 한다.
• 반복당 O(|E|) 연산이 필요한 알고리즘 1을 제안함으로써, NF 설정에 다중 곱셈 업데이트를 적용하는 이분클리크 탐색 휴리스틱을 개발한다. 여기서 |E|는 그래프 내 간선 수이다.
• NF 문제의 정적 점을 이용해 탐색 가능한 이분클리크 솔루션을 연결함으로써, 새로운 이분클리크 탐색 프레임워크를 구축한다.
• 정규화 및 적응형 매개변수 업데이트(예: d = min(αd, dₘ))를 활용하여 수렴성과 실용적 적응성을 향상시킨다.

실험 결과

연구 질문

• RQ1 NMF의 일반화인 비음수 분해(NF)는 임의의 고정된 랭크에 대해 계산적으로 어려운가?
• RQ2 NMF에서 사용되는 다중 곱셈 업데이트 알고리즘이 NF 환경으로 일반화될 수 있으며, 이는 표준 NMF 알고리즘의 성능에 대한 새로운 통찰을 제공하는가?
• RQ3 NF 문제의 정적 점을 이용해 최대 간선 이분클리크 문제의 타당한 해를 생성할 수 있는가?
• RQ4 NF 설정에 다중 곱셈 업데이트를 적용한 이분클리크 탐색 알고리즘이 기존 방법보다 더 뛰어난 성능과 낮은 계산 복잡도를 갖는가?
• RQ5 매개변수 d를 조절함으로써 NF 프레임워크를 조정하여 희소성, 가중치가 있는, 또는 이진 그래프에서 조밀한 부분행렬(이분클러스터)를 탐지할 수 있는가?

주요 결과

• 최대 간선 이분클리크 문제로의 환원을 통해, NF는 고정된 분해 랭크에 대해 NP-난이도임이 증명되었다.
• NMF의 다중 곱셈 업데이트 규칙이 NF로 일반화되었으며, 이 일반화는 레이와 시운의 원래 알고리즘에 대한 새로운 해석을 제공하며, 실무에서 상대적으로 열악한 성능을 설명한다.
• 제안된 다중 곱셈 업데이트 기반 이분클리크 탐색 알고리즘은 반복당 O(|E|) 시간 복잡도를 가지며, 이는 대규모 희소 그래프에 매우 효율적이다.
• DIMACS 벤치마크 그래프에서, 제안된 알고리즘은 이른바 그레디 또는 다른 다중 곱셈 업데이트 기반 방법보다 훨씬 많은 간선을 포함한 이분클리크를 발견하며, 특히 높은 밀도에서 두드러진 성능을 보였다.
• 무작위 그래프에서, 알고리즘은 일관되게 기존 방법을 능가했으며, 0.9 밀도 그래프에서 최고의 경우 431.3개의 간선을 확보했고, 다음으로 좋은 방법은 241.9개였다.
• 매개변수 dₘ를 조절함으로써 이분클러스터링에 적응할 수 있으며, 고전적인 텍스트 마이닝 데이터셋에서 밀도가 29%에서 52% 사이의 부분행렬을 생성했으며, dₘ가 증가할수록 밀도가 증가했다.