[논문 리뷰] Intersecting Faces: Non-negative Matrix Factorization With New Guarantees

Rong Ge, James Zou|arXiv (Cornell University)|2015. 07. 08.

Medical Image Segmentation Techniques참고 문헌 23인용 수 11

한 줄 요약

이 논문은 더 이상한 조건에서도 유일하고 최소 부피 분해가 가능하도록 일반화된 부분집합분리 가능 비음수 행렬분해(NMF)를 소개한다. 저자들은 부분집합분리 가능성을 가정할 경우 참 인 분해를 보장적으로 복원할 수 있고, 소량의 악성 노이즈에 대해서도 강건한 Face-Intersect 알고리즘을 제안한다. 이는 합성 데이터 및 실제 생물학적 데이터에서 최신 기법들보다 뛰어난 성능을 보였다.

ABSTRACT

Non-negative matrix factorization (NMF) is a natural model of admixture and is widely used in science and engineering. A plethora of algorithms have been developed to tackle NMF, but due to the non-convex nature of the problem, there is little guarantee on how well these methods work. Recently a surge of research have focused on a very restricted class of NMFs, called separable NMF, where provably correct algorithms have been developed. In this paper, we propose the notion of subset-separable NMF, which substantially generalizes the property of separability. We show that subset-separability is a natural necessary condition for the factorization to be unique or to have minimum volume. We developed the Face-Intersect algorithm which provably and efficiently solves subset-separable NMF under natural conditions, and we prove that our algorithm is robust to small noise. We explored the performance of Face-Intersect on simulations and discuss settings where it empirically outperformed the state-of-art methods. Our work is a step towards finding provably correct algorithms that solve large classes of NMF problems.

연구 동기 및 목표

• 부분집합분리 가능성을 더 자연스럽고 일반적인 조건으로 삼아, 분리 가능 NMF의 개념을 더 넓은 문제 범주로 일반화하는 것.
• 자연적인 기하 조건 하에서 부분집합분리 가능 NMF를 해결하기 위한 보장 가능한 정확성과 강건성을 갖춘 알고리즘을 개발하는 것.
• 유일하거나 최소 부피 NMF 분해를 위해 부분집합분리 가능성이 필수 조건임을 입증하는 것.
• 정확도와 노이즈에 대한 강건성 측면에서 최신 NMF 해법들과의 비교를 통해 Face-Intersect 알고리즘의 실증적 평가를 수행하는 것.
• 분리 가능 NMF를 초월하여 훨씬 더 넓은 범위의 NMF 문제에 대해 보장 가능한 정확한 알고리즘을 가능하게 하는 이론적 기반을 마련하는 것.

제안 방법

• 기존 분리 가능 NMF에서 개별 특징에 의해 표현되는 각 소스(행렬 W의 행)가, 특징의 유일한 조합(면)에 의해 표현되는 부분집합분리 가능성을 도입한다.
• 데이터 포인트가 특정 특징 조합에 대응하는 면(아핀 폐쇄)의 교차를 통해 잠재 성분을 식별하는 Face-Intersect 알고리즘을 개발한다.
• 비음수 데이터의 볼록체와 면의 기하적 성질을 활용하여, 지지 초평면의 교차를 통해 W의 참 성분을 위치파악한다.
• 적절한 면 채우기 조건이 만족될 경우, Face-Intersect가 노이즈가 없는 경우에 참 W와 A 행렬을 정확히 복원함을 증명한다.
• 유한한 편향에 의한 노이즈에 대해 강건성을 확보하여, 알고리즘의 출력이 작은 악성 노이즈 하에서도 참 분해에 가까워짐을 보인다.
• 합성 데이터와 실제 인간의 DNA 메틸화 데이터를 대상으로 시뮬레이션을 수행하여, Anchor-Words 및 프로젝션 기반 경사 하강법과의 비교를 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 부분집합분리 가능성은 분리 가능성의 일반화로서 NMF 분해의 보장 가능한 복원을 가능하게 할 수 있는가?
• RQ2 어떤 기하 조건 하에서 Face-Intersect 알고리즘이 부분집합분리 가능 NMF에서 참 분해를 보장적으로 복원할 수 있는가?
• RQ3 기존 최신 기법들과 비교해 볼 때, Face-Intersect 알고리즘의 정확도와 노이즈에 대한 강건성은 어떠한가?
• RQ4 유일하거나 최소 부피 NMF 분해를 위해 부분집합분리 가능성은 필수 조건인가?
• RQ5 낮은 노이즈 수준의 실용적 환경에서 Face-Intersect 알고리즘이 기존 방법들을 능가할 수 있는가?

주요 결과

• 낮은 노이즈 수준에서의 합성 시뮬레이션에서, Face-Intersect는 W 행렬(잠재 성분) 복원에서 Anchor-Words 및 프로젝션 기반 경사 하강법보다 뚜렷이 뛰어난 성능을 보였다.
• 관측된 데이터 행렬 M̃ 복원 측면에서, 노이즈 수준이 12.5% 이하일 경우 Face-Intersect는 Anchor-Words를 略히 앞서며, 양자 모두 프로젝션 기반 경사 하강법보다 훨씬 우수했다.
• 5개 세포 유형과 600개 샘플을 포함한 실제 DNA 메틸화 데이터에서, Face-Intersect는 참 W 행렬을 복원하는 데서 Anchor-Words보다 유의미하게 더 정확했다.
• 노이즈가 8% 이하일 경우, M 및 M̃ 복원 측면에서 Face-Intersect는 Anchor-Words보다 통계적으로 뛰어난 성능을 보였지만, 그 정도는 미미했다.
• 노이즈가 증가함에 따라 알고리즘 성능이 저하되었으며, 모든 방법이 약 12.5% 노이즈 수준에서 수렴함을 확인하여, 이 이상의 노이즈에서는 강건성에 한계가 있음을 시사했다.
• 부분집합분리 가능성은 유일하거나 최소 부피 NMF 분해를 위해 필수 조건임을 입증하여, 이론적 중요성을 확인했다.