[논문 리뷰] Provable Alternating Gradient Descent for Non-negative Matrix Factorization with Strong Correlations

Yuanzhi Li, Yingyu Liang|arXiv (Cornell University)|2017. 06. 13.

Face and Expression Recognition참고 문헌 14인용 수 8

한 줄 요약

이 논문은 비음수 행렬 분해(NMF)를 위한 증명 가능하게 수렴하는 알고리즘인 AND(교차 비음수 기울기 하강법)을 제안한다. 이 알고리즘은 가중치 벡터 간 강한 상관관계가 존재하는 상황에서도 진정한 특징 행렬을 복원할 수 있다. 확률적 기울기 하강법과 임계값 설정을 적용한 복원 단계, 그리고 경미한 초기화 전략을 결합함으로써 다항식 시간 내에 수렴하고 노이즈에 강건한 성능을 보이며, 반가소한 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Non-negative matrix factorization is a basic tool for decomposing data into the feature and weight matrices under non-negativity constraints, and in practice is often solved in the alternating minimization framework. However, it is unclear whether such algorithms can recover the ground-truth feature matrix when the weights for different features are highly correlated, which is common in applications. This paper proposes a simple and natural alternating gradient descent based algorithm, and shows that with a mild initialization it provably recovers the ground-truth in the presence of strong correlations. In most interesting cases, the correlation can be in the same order as the highest possible. Our analysis also reveals its several favorable features including robustness to noise. We complement our theoretical results with empirical studies on semi-synthetic datasets, demonstrating its advantage over several popular methods in recovering the ground-truth.

연구 동기 및 목표

• 가중치가 강하게 상관관계를 가진 경우 NMF에서 교차 최소화 알고리즘에 대한 이론적 보장을 부족한 문제를 해결하기 위해.
• 현실적인 데이터 생성 모델 하에서 진정한 특징 행렬을 복원할 수 있는 실용적이면서도 증명 가능하게 수렴하는 알고리즘을 개발하기 위해.
• 노이즈에 대한 알고리즘의 강건성과 일반 조건 하에서의 수렴 성질을 분석하기 위해.
• 반가소한 데이터셋에서 기존 NMF 알고리즘들과 비교하여, 진정한 기저 특징을 복원하는 데서 본 방법이 우수한 성능을 보임을 경험적으로 입증하기 위해.

제안 방법

• 알고리즘은 두 단계 반복 프로세스를 사용한다: (1) 데이터 포인트의 가상 역행렬 투영에 대해 임계값 설정을 적용한 함수를 사용해 가중치 벡터를 복원하고, (2) 프로베니우스 노름 손실에 대해 확률적 기울기 하강법을 사용해 특징 행렬을 갱신한다.
• 복원 단계는 데이터 포인트의 가상 역행렬 투영에 대해 ReLU 유사 임계값 함수 φα를 적용하여 희소성과 안정성을 보장한다.
• 특징 갱신 단계는 복원된 가중치 벡터를 사용해 가능도 함수에 대해 기울기 상승을 수행하며, 갱신 규칙은 다음과 같다: A^{(t+1)} = A^{(t)} + η(yz^T - A^{(t)}zz^T).
• 알고리즘은 단계별로 작동하며, 한 단계의 최종 A 값이 다음 단계의 초기화로 사용되어 점진적인 정밀도 향상을 가능하게 한다.
• 정확하거나 복잡한 초기화 전략이 필요 없도록 경미한 초기화 전략을 사용한다.
• 이론적 분석 결과, 강한 상관관계가 존재하는 경우에도 일반 조건 하에서 진정한 특징 행렬로 수렴함을 입증했다.

실험 결과

연구 질문

• RQ1 가중치 벡터가 강하게 상관관계를 가진 경우 교차 기울기 하강법이 진정한 특징 행렬을 증명 가능하게 복원할 수 있는가?
• RQ2 제안된 알고리즘이 노이즈가 있는 데이터 조건 하에서도 수렴성과 강건성을 유지하는가?
• RQ3 반가소한 데이터셋에서 AND 알고리즘이 기존 NMF 방법들과 비교해 진정한 기저 특징을 복원하는 데서 어떤 성능을 보이는가?
• RQ4 임계값 설정 복원 단계가 높은 상관관계 하에서 수렴 안정성을 높이는 데 어떤 역할을 하는가?
• RQ5 정확하거나 복잡한 초기화가 필요 없이 오직 경미한 초기화만으로도 증명 가능한 수렴을 달성할 수 있는가?

주요 결과

• AND 알고리즘은 가중치 벡터가 이론적 최대 수준까지 상관관계를 보일 경우에도 다항식 시간 내에 진정한 특징 행렬을 증명 가능하게 복원한다.
• 알고리즘은 노이즈에 강건하며, 데이터 생성 모델에서 가우시안 노이즈가 추가된 경우에도 수렴성을 유지한다.
• 반가소한 데이터셋에서의 경험적 평가 결과, AND는 다단계 업데이트나 비음수 최소 제곱법과 같은 유명한 NMF 방법들보다 진정한 기저 특징으로의 수렴 속도가 더 빠르다.
• 20newsgroups 데이터셋에서의 토픽 모델링 실험에서 AND는 잘 튜닝된 LDA 및 NMF 구현과 비교해 해석 가능한 토픽을 생성한다.
• Olivetti 얼굴 데이터셋에서의 이미지 분해 실험에서 AND는 의미 있는 구성 요소를 생성했으며, sklearn의 NMF 구현과 성능 수준이 유사하다.
• 매우 열악한 초기화 조건 하에서도 알고리즘이 유리한 수렴 행동과 안정성을 보이며 실용적인 강건성을 입증한다.