[논문 리뷰] Analysis of the robustness of NMF algorithms

Alex Díaz, Damian Steele|arXiv (Cornell University)|2021. 06. 04.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 ORL 및 YaleB 데이터셋을 사용하여 다양한 노이즈 조건 하에서 세 가지 비음수 행렬 분해(NMF) 알고리즘—L2-노름, L1-노름, L2,1-노름—의 강건성을 평가한다. L2,1-노름 NMF가 재구성 정확도와 강건성 면에서 항상 L2 및 L1-노름보다 뛰어나며, 특히 가우시안 및 라플라스 노이즈 조건에서 뛰어난 성능을 보임을 입증한다. 반면 L1-노름은 높은 계산 비용과 느린 수렴 속도로 인해 문제를 야기한다.

ABSTRACT

We examine three non-negative matrix factorization techniques; L2-norm, L1-norm, and L2,1-norm. Our aim is to establish the performance of these different approaches, and their robustness in real-world applications such as feature selection while managing computational complexity, sensitivity to noise and more. We thoroughly examine each approach from a theoretical perspective, and examine the performance of each using a series of experiments drawing on both the ORL and YaleB datasets. We examine the Relative Reconstruction Errors (RRE), Average Accuracy and Normalized Mutual Information (NMI) as criteria under a range of simulated noise scenarios.

연구 동기 및 목표

• 다양한 노이즈 조건 하에서 L2, L1 및 L2,1-노름 NMF 알고리즘의 강건성을 평가하기 위해.
• 상대 재구성 오차(RRE), 평균 정확도(ACC), 정규화된 상호정보량(NMI)를 사용하여 성능를 평가하기 위해.
• 다양한 노이즈 유형에 따른 계산 복잡도 및 수렴 행동을 조사하기 위해.
• 강건한 NMF 방법이 초기 요소 행렬 상태에 얼마나 민감한지 탐구하기 위해.

제안 방법

• 최소화를 위해 L0-노름의 L1 근사화를 사용하는 희소 노이즈 모델을 활용해 L1-노름 강건 NMF를 수립한다.
• 강건성을 향상시키기 위해 프로베니우스 노름과 혼합 노름 목적함수의 조합을 최소화하여 L2,1-노름 NMF를 도입한다.
• 비음수 제약 조건을 유지하면서 U, V, Ep, En를 반복적으로 최적화하기 위해 승법적 업데이트 규칙을 적용한다.
• 강건성을 높이기 위해 강도 값을 표준화하고 노이즈를 감소시키기 위해 이미지 정규화를 사전 처리로 사용한다.
• 최적화 중 비음수성을 유지하기 위해 노이즈 E를 양성 및 음성 성분(Ep, En)으로 분해한다.
• 모의 노이즈가 첨가된 ORL 및 YaleB 데이터셋을 사용하여 소금과胡椒 노이즈, 라플라스 분포, 가우시안 분포를 다양한 척도로 적용한다.

실험 결과

연구 질문

• RQ1 노이즈 수준이 증가함에 따라 L2, L1 및 L2,1-노름 NMF 알고리즘이 재구성 정확도에서 어떻게 비교되는가?
• RQ2 노이즈 유형(Gaussian, Laplacian, Salt & Pepper)이 세 가지 NMF 변형에서 ACC 및 NMI 지표에 어떤 영향을 미치는가?
• RQ3 계산 비용과 수렴 속도는 L1-노름 강건 NMF의 실용적 구현에 어떤 영향을 미치는가?
• RQ4 초기 요소 행렬 상태가 강건한 NMF 알고리즘의 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 가우시안 노이즈(σ=0.01) 조건에서 ORL 데이터셋에서 L2,1-노름 NMF는 RRE(0.119)가 가장 낮고 NMI(0.858)가 가장 높아 L1-노름 및 L2-노름보다 뛰어난 성능을 보였다.
• 높은 가우시안 노이즈(σ=0.5) 조건에서 L2,1-노름은 RRE(0.379)가 가장 낮고 ACC(0.252)가 가장 높았으며, L2-노름은 가장 열악한 성능을 보였다.
• 소금과胡椒 노이즈(p=0.25) 조건에서 ORL 데이터셋에서 L2,1-노름은 RRE=0.273 및 ACC=0.428을 기록했고, L1-노름(RRE=0.275, ACC=0.43) 및 L2-노름(RRE=0.286, ACC=0.413)보다 뛰어났다.
• L1-노름 NMF는 뚜렷한 높은 계산 비용과 느린 수렴 속도를 보였으며, 이로 인해 높은 반복 횟수는 실용적으로 불가능했다.
• L2,1-노름 NMF는 모든 노이즈 유형과 척도에서 안정적인 성능을 보였으며, 특히 가우시안 및 라플라스 노이즈 조건에서 뛰어난 성능을 보였다.
• 저해상도 ORL 데이터셋에서 성분 수 k와 ACC/NMI 간에 명확한 상관관계를 발견하지 못했으며, 이는 데이터셋 해상도가 지표 일관성에 영향을 줄 수 있음을 시사한다.