[논문 리뷰] Online Nonnegative Matrix Factorization with General Divergences

Renbo Zhao, Vincent Y. F. Tan외 1명|arXiv (Cornell University)|2016. 07. 30.

Sparse and Compressive Sensing Techniques참고 문헌 71인용 수 5

한 줄 요약

이 논문은 확률적 주조-최소화(stochastic majorization-minimization)를 사용하여 다양한 발산, 즉 브레그만 발산, f-발산, 그리고 강건한 거리 척도를 지원하는 통합된 온라인 비음수 행렬 분해(NMF) 프레임워크를 제안한다. 이는 확률적 근사와 투영된 동역학계 이론을 통해 기대 손실의 임계점으로 거의 확실하게 수렴함을 입증하며, 이는 이전 연구에서 제한된 제곱-ℓ₂ 손실에 비해 크게 일반화된 결과를 제공한다. 또한 토픽 모델링, 그림자 제거, 이미지 노이즈 제거 작업에서 속도와 딕셔너리 품질 간의 우수한 트레이드오프를 보여준다.

ABSTRACT

We develop a unified and systematic framework for performing online nonnegative matrix factorization under a wide variety of important divergences. The online nature of our algorithm makes it particularly amenable to large-scale data. We prove that the sequence of learned dictionaries converges almost surely to the set of critical points of the expected loss function. We do so by leveraging the theory of stochastic approximations and projected dynamical systems. This result substantially generalizes the previous results obtained only for the squared-$\ell_2$ loss. Moreover, the novel techniques involved in our analysis open new avenues for analyzing similar matrix factorization problems. The computational efficiency and the quality of the learned dictionary of our algorithm are verified empirically on both synthetic and real datasets. In particular, on the tasks of topic learning, shadow removal and image denoising, our algorithm achieves superior trade-offs between the quality of learned dictionary and running time over the batch and other online NMF algorithms.

연구 동기 및 목표

• 표준 제곱-ℓ₂ 손실을 초월하는 광범위한 발산 클래스를 지원하는 확장 가능하고 온라인 NMF 알고리즘을 개발하기.
• 확률적 근사와 투영된 동역학계 이론을 활용하여 일반적인 발산 하에서 온라인 NMF의 이론적 수렴 보장을 제공하기.
• 고비용의 저장 및 계산으로 인해 대규모 또는 스트리밍 데이터를 처리하는 데 어려움을 겪는 배치 NMF의 한계를 해결하기.
• 토론 모델링, 이미지 노이즈 제거, 그림자 제거와 같은 다양한 응용 분야에서 알고리즘의 효율성과 성능을 실증적으로 검증하기.
• 기존의 온라인 NMF 방법들을 비-ℓ₂ 발산으로 확장하고 엄밀한 이론적 기반을 제공함으로써 통합 및 일반화하기.

제안 방법

• 손실 기반의 발산을 상위로 둘 수 있는 서브스티튜션 함수를 반복적으로 최소화하는 데 확률적 주조-최소화(MM) 방법을 활용한다.
• 온라인 업데이트를 사용하여 각 새로운 데이터 샘플이 도착할 때마다 딕셔너리 W를 점진적으로 개선함으로써 과거 데이터의 저장을 피한다.
• 투영된 동역학계 이론에 기반하여 제약 조건이 있는 다양체 내에서 업데이트 과정의 흐름을 분석함으로써 수렴성을 보장한다.
• 기대 손실 함수의 임계점으로 거의 확실하게 수렴함을 증명하기 위해 리아푸노프 함수를 구성한다.
• 특화된 서브스티튜션 함수를 통해 이타쿠라-사이토, 킬러블레-라이블러, 허버, ℓ₁, ℓ₂, 제곱-ℓ₂ 등 다양한 발산을 지원한다.
• 이론적 분석은 확률적 근사 이론과 대응 사상의 상부 연속성을 활용하여 일반적인 발산 설정 하에서의 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 온라인 NMF는 제곱-ℓ₂ 손실을 초월하는 광범위한 발산으로 체계적으로 확장될 수 있는가?
• RQ2 제안된 온라인 알고리즘이 일반적인 발산 하에서 기대 손실 함수의 임계점으로 거의 확실하게 수렴하는가?
• RQ3 일반적인 발산을 사용하는 온라인 NMF의 성능은 속도와 딕셔너리 품질 측면에서 배치 및 다른 온라인 NMF 방법과 비교해 볼 때 어떻게 되는가?
• RQ4 확률적 근사와 투영된 동역학계 이론에 기반한 이론적 프레임워크는 다양한 발산 가족 간의 수렴 분석을 통합하는 데 적용될 수 있는가?
• RQ5 온라인 NMF에서 소음 분포에 맞는 발산(예: 포isson 소음에 대해 KL 발산)을 사용할 경우와 맞지 않는 발산을 사용할 경우의 실증적 영향은 무엇인가?

주요 결과

• 제안된 온라인 NMF 프레임워크는 일반적인 발산 하에서 기대 손실 함수의 임계점 집합으로 거의 확실하게 수렴함을 입증하였으며, 이는 이전 연구에서 제한된 제곱-ℓ₂ 손실에 국한된 결과를 크게 일반화한 것이다.
• 실세계 작업, 즉 토픽 모델링, 그림자 제거, 이미지 노이즈 제거에서 계산 효율성과 딕셔너리 품질 간의 뛰어난 트레이드오프를 보여주었다.
• 실증 결과는 소음 분포에 맞는 발산을 사용할 경우(예: 포isson 소음에 대해 Kullback-Leibler 발산)가 불일치하는 손실을 사용할 경우보다 성능이 유의미하게 향상됨을 보여주었다.
• 합성 및 실제 데이터 세트에서 런타임과 재구성 품질 측면에서 배치 및 기존의 온라인 NMF 알고리즘을 모두 능가하는 성능을 보였다.
• 이론적 분석은 리아푸노프 함수와 투영된 동역학계의 사용이 브레그만 발산 및 강건한 척도를 포함한 다양한 발산 가족에 걸쳐 수렴 보장을 가능하게 함을 드러내었다.
• 감도 분석은 하이퍼파ram터 τ, K, a 가 수렴 속도와 목적 함수 값에 영향을 주며, 최적 설정이 더 빠른 수렴과 낮은 손실을 제공함을 확인하였다.