[논문 리뷰] Stochastic Majorization-Minimization Algorithms for Large-Scale Optimization

Julien Mairal|arXiv (Cornell University)|2013. 06. 19.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 89

한 줄 요약

이 논문은 대규모 최적화를 위한 확률적 주요화-최소화(SMM) 알고리즘을 소개한다. 여기서 사전 함수는 단일 데이터 포인트를 사용하여 업데이트되고 반복적으로 최소화된다. 볼록 문제에서는 O(1/√n) 수렴 속도를 달성하며, 비볼록 설정에서는 정류점으로 거의 확실히 수렴한다. 이는 기계학습 및 신호 처리 분야에서 대규모 또는 무한한 데이터셋에 대한 확장 가능한 해결책을 가능하게 한다.

ABSTRACT

Majorization-minimization algorithms consist of iteratively minimizing a majorizing surrogate of an objective function. Because of its simplicity and its wide applicability, this principle has been very popular in statistics and in signal processing. In this paper, we intend to make this principle scalable. We introduce a stochastic majorization-minimization scheme which is able to deal with large-scale or possibly infinite data sets. When applied to convex optimization problems under suitable assumptions, we show that it achieves an expected convergence rate of $O(1/\sqrt{n})$ after $n$ iterations, and of $O(1/n)$ for strongly convex functions. Equally important, our scheme almost surely converges to stationary points for a large class of non-convex problems. We develop several efficient algorithms based on our framework. First, we propose a new stochastic proximal gradient method, which experimentally matches state-of-the-art solvers for large-scale $\ell_1$-logistic regression. Second, we develop an online DC programming algorithm for non-convex sparse estimation. Finally, we demonstrate the effectiveness of our approach for solving large-scale structured matrix factorization problems.

연구 동기 및 목표

• 기계학습 및 신호 처리 분야에서 대규모 또는 무한한 데이터셋에 대한 주요화-최소화(MM) 알고리즘의 확장성 문제를 해결한다.
• 데이터셋 크기에 의존하지 않는 메모리 복잡도를 확보하기 위해 단일 데이터 포인트를 사용해 사전 함수를 업데이트하는 MM의 확률적 변종을 개발한다.
• 약한 가정 하에 볼록 및 비볼록 최적화 문제에 대해 이론적 수렴 보장을 확립한다.
• 실제 응용 분야인 ℓ1-로지스틱 회귀 및 구조적 행렬 분해에 기반한 효율적인 알고리즘을 설계한다.

제안 방법

• 각 반복에서 단일 관측 데이터 포인트를 기반으로 사전 함수를 구성하는 확률적 주요화-최소화 체계를 수립한다.
• 1차 사전 함수를 사용하여 ρ-강력 볼록성, 목적 함수를 주요화하고, 근사 오차의 L-립시츠 연속 기울기를 확보한다.
• 온라인 데이터 포인트를 사용해 사전 함수를 점진적으로 업데이트하여 학습 세트 크기와 무관한 메모리 복잡도를 확보한다.
• 새로운 확률적 프록시멀 기울기 방법을 통해 복합 및 제약 조건이 있는 문제에 체계를 적용한다.
• 비볼록 문제에 대해 스파arsity 추정을 위해 온라인 DC 프로그래밍을 사용해 프레임워크를 확장한다.
• 유연한 손실 및 정규화 함수를 갖는 온라인 환경에서의 구조적 행렬 분해에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 주요화-최소화 알고리즘이 수렴 보장을 유지하면서 대규모 또는 무한한 데이터셋으로 확장 가능할 수 있는가?
• RQ2 확률적 MM 알고리즘이 볼록 및 강력 볼록 문제에서 달성할 수 있는 수렴 속도는 무엇인가?
• RQ3 비볼록 최적화 문제에서 확률적 MM 체계가 거의 확실히 정류점으로 수렴하는가?
• RQ4 제안된 확률적 프록시멀 기울기 방법은 대규모 ℓ1-로지스틱 회귀 작업에서 최첨단 솔버와 비교해 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 복잡한 정규화 및 손실 함수를 갖는 온라인 환경에서 구조적 행렬 분해를 효과적으로 다룰 수 있는가?

주요 결과

• 확률적 MM 알고리즘은 볼록 문제에서 n회 반복 후 기대 수렴 속도로 O(1/√n)를 달성하고, 강력 볼록 문제에서는 O(1/n)을 달성한다.
• 비볼록 문제에서는 적절한 가정 하에 알고리즘이 거의 확실히 정류점 집합으로 수렴한다.
• 제안된 확률적 프록시멀 기울기 방법은 대규모 ℓ1-로지스틱 회귀 작업에서 최첨단 솔버와 경쟁 가능한 성능을 보인다.
• 온라인 DC 프로그래밍 알고리즘은 대규모 비볼록 스파arsity 추정 문제에서 배치 대비 방법보다 뛰어난 성능을 보인다.
• 프레임워크는 복잡한 손실 및 정규화 함수를 갖는 효율적인 온라인 구조적 행렬 분해를 가능하게 하여 기존 연구를 확장한다.
• 이론적 분석을 통해 균일한 사전 함수 수렴과 근사 오차 기울기의 유계성 조건 하에 수렴이 보장됨을 확인한다.