[논문 리뷰] MahNMF: Manhattan Non-negative Matrix Factorization

Naiyang Guan, Dacheng Tao외 2명|arXiv (Cornell University)|2012. 07. 14.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 142

한 줄 요약

이 논문은 라플라스 노이즈와 같은 극단적인 꼬리(heavy-tailed) 노이즈를 강건하게 모델링하기 위해 비음수 데이터 행렬과 그의 저질서 근사 간의 맨하탄 거리를 최소화하는 맨하탄 비음수 행렬 분해(MahNMF)를 제안한다. 비볼록이고 비연속적인 최적화를 랭크-원 잔차 반복(RRI)과 네스테로프의 스무딩 방법을 활용하여 수행함으로써 MahNMF는 저질서 및 희소 성분을 효과적으로 분離하며, 얼굴 인식, 영상 처리, 다중 시각 학습 작업에서 기존의 NMF, RPCA, GoDec보다 뛰어난 성능을 보인다.

ABSTRACT

Non-negative matrix factorization (NMF) approximates a non-negative matrix $X$ by a product of two non-negative low-rank factor matrices $W$ and $H$. NMF and its extensions minimize either the Kullback-Leibler divergence or the Euclidean distance between $X$ and $W^T H$ to model the Poisson noise or the Gaussian noise. In practice, when the noise distribution is heavy tailed, they cannot perform well. This paper presents Manhattan NMF (MahNMF) which minimizes the Manhattan distance between $X$ and $W^T H$ for modeling the heavy tailed Laplacian noise. Similar to sparse and low-rank matrix decompositions, MahNMF robustly estimates the low-rank part and the sparse part of a non-negative matrix and thus performs effectively when data are contaminated by outliers. We extend MahNMF for various practical applications by developing box-constrained MahNMF, manifold regularized MahNMF, group sparse MahNMF, elastic net inducing MahNMF, and symmetric MahNMF. The major contribution of this paper lies in two fast optimization algorithms for MahNMF and its extensions: the rank-one residual iteration (RRI) method and Nesterov's smoothing method. In particular, by approximating the residual matrix by the outer product of one row of W and one row of $H$ in MahNMF, we develop an RRI method to iteratively update each variable of $W$ and $H$ in a closed form solution. Although RRI is efficient for small scale MahNMF and some of its extensions, it is neither scalable to large scale matrices nor flexible enough to optimize all MahNMF extensions. Since the objective functions of MahNMF and its extensions are neither convex nor smooth, we apply Nesterov's smoothing method to recursively optimize one factor matrix with another matrix fixed. By setting the smoothing parameter inversely proportional to the iteration number, we improve the approximation accuracy iteratively for both MahNMF and its extensions.

연구 동기 및 목표

• 기존의 NMF가 라플라스, 소금후추 노이즈, 가림과 관련된 이상치와 같은 극단적인 꼬리 노이즈를 다루는 데에 한계가 있음을 해결한다.
• RPCA와 GoDec의 영감을 받아, 동시에 저질서 구조와 희소 노이즈를 포괄하는 강건한 행렬 분해 프레임워크를 개발한다.
• 실제 데이터(예: 이미지, 영상)의 비음수 제약 조건을 유지하면서 이상치에 대한 강건성을 향상시킨다.
• 비볼록이고 비연속적인 MahNMF 목표 함수를 위한 확장 가능하고 효율적인 최적화 알고리즘을 설계한다.
• 박스 제약 조건, 다양체 정규화, 그룹 희소, 엘라스틱 넷, 대칭 형태와 같은 실용적 변형을 포함하여 다양한 응용 분야에 확장한다.

제안 방법

• 입력 행렬 $X$와 그의 분해 $W^TH$ 사이의 L1(맨하탄) 거리 최소화를 통해 MahNMF를 설정함으로써 라플라스 노이즈를 모델링한다.
• 잔차 행렬을 외적으로 근사함으로써 $W$의 한 행과 $H$의 한 행을 닫힌 형태로 동시에 갱신하는 랭크-원 잔차 반복(RRI) 방법을 도입한다.
• 반복 횟수에 반비례하는 스무딩 파라미터를 사용함으로써 비연속적인 목표 함수를 처리하기 위해 네스테로프의 스무딩 방법을 적용한다.
• 다른 인자 행렬을 고정한 채 한 인자 행렬을 번갈아 최적화하며, 스무딩 근사에 빠른 경사 방법을 사용한다.
• MahNMF를 박스 제약 조건(경계 강제), 다양체 정규화(데이터 기하학 유지), 그룹 희소(구조적 희소성), 엘라스틱 넷(희소성와 부드러움의 트레이드오���), 대칭 형태 MahNMF(이미지 분할에 적합) 등으로 확장한다.
• 대칭 MahNMF가 정규화 컷(Ncuts)과 동치임을 입증함으로써 스펙트럼 클러스터링 및 이미지 분할에 응용할 수 있음을 보장한다.

실험 결과

연구 질문

• RQ1 기존의 쿨백-라이블러 또는 유클리드 거리 최소화 방식에 비해 NMF에서 맨하탄 거리 최소화가 극단적인 꼬리 노이즈에 대해 강건성을 향상시키는가?
• RQ2 비볼록이고 비연속적인 MahNMF 목표 함수를 소규모 및 대규모 데이터 모두에 대해 효율적으로 최적화할 수 있는가?
• RQ3 실제 데이터에서 저질서 및 희소 성분을 회복하면서도 비음수성을 유지하는 데서 MahNMF가 RPCA 및 GoDec를 얼마나 뛰어나게 성능을 내는가?
• RQ4 다중 시각 데이터를 효과적으로 모델링할 수 있는가? 특히 각 시각에 특화된 희소 기저를 학습하면서도 시각 간 일관성을 유지하는가?
• RQ5 대칭 MahNMF는 비음수성과 부분 기반 표현을 유지하면서도 이미지 분할 작업에서 정규화 컷(Ncuts)과 유사한 성능을 달성하는가?

주요 결과

• MahNMF- GS는 VOC Pascal 07에서 평균 정밀도(mAP) 39.76%를, Mir Flickr에서 41.69%를 기록하여 EucNMF- GS(35.29% 및 36.89%)와 FLSS(32.15% 및 32.04%)를 크게 앞서며 뛰어난 성능을 보였다.
• RRI 방법은 소규모 문제에 대해 빠른 수렴을 가능하게 했지만, 높은 시간 복잡도로 인해 대규모 행렬에 대한 확장성에 제한이 있었다.
• 네스테로프의 스무딩 방법은 반복적으로 스무딩 파라미터를 정밀하게 조정함으로써 우수한 수렴성과 근사 정확도를 달성하여 비연속 목표 함수의 효과적 최적화를 가능하게 하였다.
• MahNMF- GS는 시각 간 일관된 희소 패턴을 유지하는 시각별 희소 기저를 학습하여 효과적인 다중 시각 학습을 가능하게 하였고, 반면 EucNMF- GS는 이러한 구조를 포착하지 못했다.
• 대칭 MahNMF가 정규화 컷(Ncuts)과 동치임을 입증하여 이미지 분할에 대한 이론적 기반을 확인하였다.
• 감시 영상 및 얼굴 이미지 데이터셋에서 MahNMF는 비음수성을 유지하면서도 배경 제거 및 조명 모델링에서 RPCA 및 GoDec와 유사한 강건한 성능을 보였다.