[논문 리뷰] Approximation Algorithms for Orthogonal Non-negative Matrix Factorization

Moses Charikar, Lunjia Hu|arXiv (Cornell University)|2021. 03. 02.

Face and Expression Recognition참고 문헌 52인용 수 5

한 줄 요약

이 논문은 한 개 또는 두 개의 인자에서 완벽한 직교성을 보장하면서도 경쟁 가능한 근사 오차를 달성하는 옥타곤 알루미늄 행렬 분해(ONMF)에 대한 최초의 상수 요인 근사 알고리즘을 제시한다. 가중치가 부여된 $k$-means 근사 서브루틴을 활용함으로써 이론적 오차 한계를 보장하며, 특히 노이즈 조건 하에서 이전 알고리즘보다 정확도와 런타임 면에서 뛰어나다.

ABSTRACT

In the non-negative matrix factorization (NMF) problem, the input is an $m imes n$ matrix $M$ with non-negative entries and the goal is to factorize it as $M\approx AW$. The $m imes k$ matrix $A$ and the $k imes n$ matrix $W$ are both constrained to have non-negative entries. This is in contrast to singular value decomposition, where the matrices $A$ and $W$ can have negative entries but must satisfy the orthogonality constraint: the columns of $A$ are orthogonal and the rows of $W$ are also orthogonal. The orthogonal non-negative matrix factorization (ONMF) problem imposes both the non-negativity and the orthogonality constraints, and previous work showed that it leads to better performances than NMF on many clustering tasks. We give the first constant-factor approximation algorithm for ONMF when one or both of $A$ and $W$ are subject to the orthogonality constraint. We also show an interesting connection to the correlation clustering problem on bipartite graphs. Our experiments on synthetic and real-world data show that our algorithm achieves similar or smaller errors compared to previous ONMF algorithms while ensuring perfect orthogonality (many previous algorithms do not satisfy the hard orthogonality constraint).

연구 동기 및 목표

• 임의의 내부 차원을 갖는 ONMF에 대해 이론적 최악의 경우 근사 보장을 부족한 문제를 해결한다.
• Frobenius 노름 오차를 최소화하면서 $A$ 및/또한 $W$에서 정확한 직교성을 보장하는 증명 가능하게 효율적인 알고리즘을 개발한다.
• ONMF의 경험적 성공과 이론적 이해 사이의 격차를 메우기 위해 근사 비율을 제공한다.
• 특히 노이즈 조건 하에서도 합리적이고 강건한 효율성과 성능을 확보하기 위해 합성 및 실세계 데이터에서의 실용적 효율성과 강건성을 확보한다.
• 직교성 제약 조건이 정규화 요소로 작용하여, 약간 더 높은 재구성 오차를 보일지라도 기저 구조 복원을 향상시킨다는 것을 입증한다.

제안 방법

• 가중치가 부여된 $k$-means의 $r$-근사 알고리즘을 서브루틴으로 사용하며, 특히 $(9+\varepsilon)$-근사 국소 검색 알고리즘을 적용한다.
• 이중 단계 알고리즘 설계: 첫째, $k$-means 서브루틴을 사용해 $M$의 행 또는 열을 군집화한다; 둘째, 비음성 및 직교성 제약 조건 하에서 최소 제곱 투영을 통해 $A$와 $W$를 계산한다.
• 비음성과 내적의 영이 되는 조건을 바탕으로, $A$의 열과 $W$의 행에서 서로 겹치지 않는 지지 집합을 확보함으로써 직교성을 강제한다.
• 이중 요소 직교성의 경우, $\left(2r + \frac{8r+8}{\sin^2(\pi/12)}\right)$의 근사 비율을 유도하며, 고정된 $r$에 대해 이는 상수이다.
• 비영 행에 대해 $\|WW^T - I\|_F$를 측정하기 위해 정규화 및 영 행 제거를 적용한다.
• 식별 가능한 해가 포함된 합성 데이터와 i.i.d. 지수 노이즈를 사용해 제어된 조건 하에서 복원 및 재구성 오차를 평가한다.

실험 결과

연구 질문

• RQ1 직교성이 한 개 또는 두 인자에 대해 강제될 경우, ONMF에 대해 상수 요인 근사 알고리즘을 설계할 수 있는가?
• RQ2 완벽한 직교성을 강제할 경우, 비직교 NMF 방법과 비교해 근사 오차와 구조 복원에 어떤 영향을 미치는가?
• RQ3 직교성 제약 조건 하에서 Frobenius 노름 오차에 대해 ONMF의 이론적 근사 비율은 얼마인가?
• RQ4 기존 ONMF 방법들과 비교해 실세계 및 노이즈 조건 하에서 이 알고리즘이 실제로 어떻게 성능을 발휘하는가?
• RQ5 직교성 제약 조건이 정규화 요소로 작용하여, 노이즈가 있는 데이터에서 약간 더 높은 재구성 오차를 보일지라도 기저 구조 복원을 향상시키는가?

주요 결과

• 제안된 알고리즘은 단일 요소 직교성의 경우 $2r$의 증명 가능한 근사 비율을 달성하며, 이중 요소 직교성의 경우 $\left(2r + \frac{8r+8}{\sin^2(\pi/12)}\right)$의 근사 비율을 확보한다. 여기서 $r$은 $k$-means 서브루틴의 근사 비율이다.
• 합성 데이터에서 $m=100, n=5000, k=10$ 조건 하에서, 알고리즘은 완벽한 직교성을 확보하고 비직교 방법과 유사한 복원 오차를 달성한다. 식별 가능한 해보다 약간 더 나은 복원 성능와 약간 더 나쁜 재구성 오차를 기록한다.
• 이전 반복적 방법들(예: EM-ONMF 및 ONMFS)에 비해 뚜렷이 더 빠른 런타임을 보이며, 효율적인 $k$-means++ 스타일 군집화에 기반한다.
• 작은 행렬($m=10, n=50, k=2$) 조건 하에서, ONMFS와 마찬가지로 완벽한 직교성을 보장하지만, 복원 오차 및 재구성 오차 면에서 제안된 알고리즘이 더 뛰어나다.
• 제안된 알고리즘과 ONMFS 모두에서 $WW^T - I$의 Frobenius 노름은 항상 정확히 0이며, 모든 실행에서 완벽한 직교성이 확인된다.
• 식별 가능한 해의 재구성 오차는 $\sqrt{2mn}$ 배의 노이즈 수준 주변에 집중되며, 제안된 알고리즘은 이 기준보다 평균적으로 더 낮은 재구성 오차를 달성한다.