[논문 리뷰] Distributionally Robust and Multi-Objective Nonnegative Matrix Factorization

Nicolas Gillis, Le Thi Khanh Hien외 2명|arXiv (Cornell University)|2019. 01. 30.

Optimal Experimental Design Methods인용 수 4

한 줄 요약

이 논문은 라그랑주 이중성과 프랭크-울프 유사 히우리스틱을 통해 유도된 적응형 가중치를 사용하는 가중합 접근법을 통해 여러 β-분산 목적함수(예: 프로베니우스, KL, IS)를 동시에 최적화하는 분포로부스트 및 다목적 비음수 행렬 분해(DR-MO-NMF) 프레임워크를 제안한다. 이 방법은 알려지지 않은 또는 혼합된 노이즈 모델에서도 강력한 NMF 해를 달성하며, 다양한 노이즈 조건에서 음성 및 문서 데이터에서 단목적 NMF보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Nonnegative matrix factorization (NMF) is a linear dimensionality reduction technique for analyzing nonnegative data. A key aspect of NMF is the choice of the objective function that depends on the noise model (or statistics of the noise) assumed on the data. In many applications, the noise model is unknown and difficult to estimate. In this paper, we define a multi-objective NMF (MO-NMF) problem, where several objectives are combined within the same NMF model. We propose to use Lagrange duality to judiciously optimize for a set of weights to be used within the framework of the weighted-sum approach, that is, we minimize a single objective function which is a weighted sum of the all objective functions. We design a simple algorithm based on multiplicative updates to minimize this weighted sum. We show how this can be used to find distributionally robust NMF (DR-NMF) solutions, that is, solutions that minimize the largest error among all objectives, using a dual approach solved via a heuristic inspired from the Frank-Wolfe algorithm. We illustrate the effectiveness of this approach on synthetic, document and audio data sets. The results show that DR-NMF is robust to our incognizance of the noise model of the NMF problem.

연구 동기 및 목표

• 비음수 행렬 분해(NMF)에서 기저 노이즈 모델이 알려져 있지 않거나 불확실할 경우 적절한 목적함수를 선택하는 데 도전하는 것.
• 가정된 노이즈 모델이 잘못되었을 경우 심각하게 실패할 수 있는 단목적 NMF의 한계를 극복하는 것.
• 다양한 후보 노이즈 모델(예: 가우시안, 포isson, 가우마)에 대해 최악의 재구성 오차를 최소화하는 분포로부스트 NMF(DR-NMF) 공식을 개발하는 것.
• 다양한 β-분산 목적함수를 적응형 가중치와 곱셈 업데이트를 통해 균형 있게 최소화하는 효율적인 최적화 알고리즘을 설계하는 것.
• 실제 노이즈 조건에서 합성, 문서, 음성 데이터 세트에 대해 제안된 방법의 유효성을 입증하는 것.

제안 방법

• 다양한 β-분산 목적함수(예: D₀, D₁, D₂)를 하나의 가중합 목적함수로 통합하여 다목적 NMF(MO-NMF) 문제를 설정한다.
• 라그랑주 이중성을 사용하여 가중합 목적함수에 대한 최적 가중치를 유도함으로써 모든 목적함수 간 균형 잡힌 최소화를 보장한다.
• 비음수성과 수렴 성질을 유지하면서 가중합 목적함수를 최소화하는 새로운 곱셈 업데이트 알고리즘을 설계한다.
• 분포로부스트 NMF(DR-NMF) 보조 문제를 해결하기 위해 프랭크-울프 유사 히우리스틱을 적용함으로써 모든 목적함수에 걸쳐 최대 오차를 최소화한다.
• DR-NMF 프레임워크를 MO-NMF 최적화 루프에 통합하여 반복적으로 가중치를 개선하고 강건성을 향상시킨다.
• 결과로 도출된 알고리즘을 사용해 진짜 노이즈 유형을 사전에 알지 못한 채로도 여러 노이즈 모델(예: 포isson, 가우마, 가우시안)에 대한 재구성 오차를 동시에 최소화한다.

실험 결과

연구 질문

• RQ1 진짜 노이즈 모델이 알려져 있지 않을 때, 여러 β-분산 목적함수를 동시에 최적화하는 다목적 NMF 프레임워크가 강건성을 향상시킬 수 있는가?
• RQ2 다양한 노이즈 모델에서 균형 잡힌 성능을 확보하기 위해 가중합 NMF 공식에서 다양한 β-분산 항에 최적의 가중치를 어떻게 할당할 수 있는가?
• RQ3 혼합되거나 알려지지 않은 노이즈 조건에서 제안된 분포로부스트 NMF(DR-NMF) 접근법이 기존의 단목적 NMF 변종들(예: KL-NMF, IS-NMF)보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 프랭크-울프 유사 알고리즘은 DR-NMF 문제를 효과적으로 해결할 수 있으며, 여러 목적함수에 걸쳐 최악의 오차가 낮은 해를 도출할 수 있는가?
• RQ5 제안된 방법은 기존의 NMF 접근법보다 더 해석 가능하고 물리적으로 의미 있는 분해(예: 음성 소스 분離에서)를 생성하는가?

주요 결과

• Ω = {0,1}인 DR-NMF(IS 및 KL 분산)는 고노이즈 음성 스펙트로그램에서 세 개의 음계(C₄, D₄, E₄)와 해머 노이즈를 성공적으로 추출하지만, IS-NMF는 음계를 복원하지 못하고 KL-NMF는 다섯 번째 소스를 억제하지 못한다.
• 포isson 노이즈 하에서 DR-NMF는 음악 스코어의 활성화 패턴(C₄: 1개 활성화, D₄: 2개, E₄: 4개)을 정확히 식별하며, IS-NMF 및 KL-NMF보다 뛰어난 성능을 보인다.
• 승수적 가우마 노이즈(r=5) 하에서 DR-NMF는 세 음계와 해머 노이즈를 정확히 추출하지만, IS-NMF는 진폭을 과대평가하고 KL-NMF는 의미 없는 임의의 소스를 도입한다.
• DR-NMF의 다섯 번째 성분은 거의 0에 가까워져 자동 성분 선택을 나타내며, IS-NMF는 이를 성공적으로 0으로 설정하고 KL-NMF는 그렇지 못하다.
• DR-NMF는 IS 및 KL 분산 오차를 동시에 크게 낮추어, 어느 하나의 목적함수도 희생시키지 않으면서도 다목적 균형을 유지할 수 있음을 보여준다.
• 노이즈 통계가 알려져 있지 않은 상황에서 음성 데이터에 대해 IS- 또는 KL-NMF를 사용할 것인가에 대한 오랜 논쟁을 해결하며, 알려지지 않은 노이즈 통계에 대해 강력하고 통합된 대안을 제공한다.