[논문 리뷰] Online Optimization for Max-Norm Regularization

Jie Shen, Huan Xu외 1명|arXiv (Cornell University)|2014. 06. 12.

Sparse and Compressive Sensing Techniques인용 수 25

한 줄 요약

이 논문은 최대노름 정규화 행렬 분해를 위한 온라인 알고리즘을 제안하며, 최대노름을 행렬 분해를 통해 기저와 계수 성분으로 재구성함으로써 대규모 데이터를 메모리 효율적으로 처리할 수 있도록 한다. 이는 기저 성분만 메모리에 유지함으로써 가능하다. 이 방법은 기대 손실의 정류점으로 증명 가능하게 수렴하며, 핵노름 솔버보다 효능과 강건성 면에서 뛰어나다.

ABSTRACT

Max-norm regularizer has been extensively studied in the last decade as it promotes an effective low-rank estimation for the underlying data. However, such max-norm regularized problems are typically formulated and solved in a batch manner, which prevents it from processing big data due to possible memory budget. In this paper, hence, we propose an online algorithm that is scalable to large-scale setting. Particularly, we consider the matrix decomposition problem as an example, although a simple variant of the algorithm and analysis can be adapted to other important problems such as matrix completion. The crucial technique in our implementation is to reformulating the max-norm to an equivalent matrix factorization form, where the factors consist of a (possibly overcomplete) basis component and a coefficients one. In this way, we may maintain the basis component in the memory and optimize over it and the coefficients for each sample alternatively. Since the memory footprint of the basis component is independent of the sample size, our algorithm is appealing when manipulating a large collection of samples. We prove that the sequence of the solutions (i.e., the basis component) produced by our algorithm converges to a stationary point of the expected loss function asymptotically. Numerical study demonstrates encouraging results for the efficacy and robustness of our algorithm compared to the widely used nuclear norm solvers.

연구 동기 및 목표

• 고용량 메모리 요구로 인해 대규모 데이터 환경에서 배치 최대노름 정규화의 확장성에 한계가 있음을 해결한다.
• 최대노름 정규화를 온라인 최적화 프레임워크로 재구성함으로써 스트리밍 또는 대규모 데이터의 온라인 처리를 가능하게 한다.
• 샘플 수와 무관하게 기저 성분만 저장하는 메모리 효율적인 알고리즘을 개발한다.
• 기대 손실 함수의 정류점으로 해의 수열이 이론적으로 수렴하도록 보장한다.
• 실제 환경에서 널리 사용되는 핵노름 기반 솔버와 비교해 성능과 강건성 면에서 뛰어난 성능을 입증한다.

제안 방법

• 기저 행렬과 계수 행렬을 포함하는 등가의 행렬 분해를 통해 최대노름을 재구성한다.
• 기저 성분을 메모리에 유지하고, 각 도착 샘플에 대해 기저와 계수 간의 교차 최적화를 수행한다.
• 데이터를 순차적으로 처리하는 온라인 업데이트 전략을 사용하여 기저와 계수를 점진적으로 업데이트한다.
• 요소 간 교차 최적화를 적용하여 기저 성분이 계수 업데이트 중에 고정되고, 반대로 계수 업데이트 중에 기저 성분이 고정되도록 보장한다.
• 분해의 구조를 활용해 메모리 사용을 샘플 수에서 분리함으로써 확장성을 확보한다.
• 기저 성분 수열이 기대 손실 함수의 정류점으로 渐近 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 최대노름 정규화는 대규모 데이터를 위한 온라인 확장 가능한 학습 환경에 효과적으로 적응될 수 있는가?
• RQ2 제안된 최대노름의 분해 기반 재구성이 메모리 효율적인 온라인 최적화를 가능하게 하는가?
• RQ3 온라인 알고리즘이 기대 손실 함수의 정류점으로 수렴할 수 있는가?
• RQ4 제안된 방법의 성능은 핵노름 기반 솔버와 비교해 효능과 강건성 면에서 어떻게 뛰어나게 되는가?
• RQ5 실제로 대량의 샘플을 처리할 때 알고리즘이 강건하고 확장 가능한가?

주요 결과

• 제안된 온라인 알고리즘은 샘플 수와 무관하게 기저 성분만 저장함으로써 확장 가능한 학습을 달성한다.
• 알고리즘이 생성한 기저 성분 수열은 기대 손실 함수의 정류점으로 渐近 수렴한다.
• 수치 실험 결과, 이 방법은 널리 사용되는 핵노름 솔버보다 효능과 강건성 면에서 뛰어나게 성능을 발휘한다.
• 낮은 메모리 사용과 점진적 업데이트 메커니즘 덕분에 대규모 데이터 환경에서도 강력한 성능을 유지한다.
• 분해 기반 재구성 덕분에 최대노름 정규화의 이론적 이점을 포기하지 않은 채 효과적인 온라인 최적화가 가능해진다.