[논문 리뷰] Incremental Majorization-Minimization Optimization with Application to Large-Scale Machine Learning

Julien Mairal|arXiv (Cornell University)|2014. 02. 18.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 21

한 줄 요약

이 논문은 연속 함수의 합을 포함하는 대규모 머신러닝 문제를 위한 증분 주요화-최소화 알고리즘인 MISO(Minimization by Incremental Surrogate Optimization)를 제안한다. 일阶 보조 함수를 사용하여 강凸 복합 목표 함수에 대해 선형 수렴성을 달성하며, 비凸 및 축합 설정에 이론적 보장을 제공하는 확장 가능한 대안을 제시한다.

ABSTRACT

Majorization-minimization algorithms consist of successively minimizing a sequence of upper bounds of the objective function. These upper bounds are tight at the current estimate, and each iteration monotonically drives the objective function downhill. Such a simple principle is widely applicable and has been very popular in various scientific fields, especially in signal processing and statistics. In this paper, we propose an incremental majorization-minimization scheme for minimizing a large sum of continuous functions, a problem of utmost importance in machine learning. We present convergence guarantees for non-convex and convex optimization when the upper bounds approximate the objective up to a smooth error; we call such upper bounds "first-order surrogate functions". More precisely, we study asymptotic stationary point guarantees for non-convex problems, and for convex ones, we provide convergence rates for the expected objective function value. We apply our scheme to composite optimization and obtain a new incremental proximal gradient algorithm with linear convergence rate for strongly convex functions. In our experiments, we show that our method is competitive with the state of the art for solving machine learning problems such as logistic regression when the number of training samples is large enough, and we demonstrate its usefulness for sparse estimation with non-convex penalties.

연구 동기 및 목표

• 학습 샘플 수 T가 클 경우 연속 함수의 합을 최소화하는 데 도전하는 문제를 해결하기 위해.
• 반복 단위 비용을 낮추면서도 확률적 방법보다 빠른 수렴성을 달성하는 확장 가능한 최적화 기법을 개발하기 위해.
• 비凸 및 축합 문제에 대해 점근적 수렴성과 수렴 속도 보장을 제공하는 일阶 보조 함수를 사용하여 수렴 보장을 제공하기 위해.
• 유한 합을 효율적으로 처리할 수 있도록 주요화-최소화 프레임워크를 증분 설정으로 확장하여 대규모 학습에서의 효율성을 높이기 위해.
• 로지스틱 회귀 및 비凸 페널티를 갖는 희소 추정과 같은 실제 문제에 대해 방법의 효과성을 입증하기 위해.

제안 방법

• 현재 반복점에서 정확하게 맞는 상한(보조 함수)을 최소화하는 증분 기반 계획을 제안한다.
• 목표 함수를 부드러운 오차까지 근사하는 일阶 보조 함수를 사용하여 미분 가능성과 리프시츠 연속 기울기 성질을 보장한다.
• 개별 함수 f^t(θ)에 대해 순환 업데이트 규칙을 적용하여 한 번에 하나의 성분만 업데이트하면서 전체 목표 함수의 누적 추정치를 유지한다.
• 과거 반복점을 저장하지 않는 메모리 효율적인 업데이트 메커니즘을 도입하여, 확률적 방법과 유사하지만 더 빠른 수렴 속도를 확보한다.
• 복합 최적화에 적용하여, 강凸 함수에 대해 선형 수렴성을 보장하는 새로운 증분 프록시멀 그라디언트 알고리즘을 유도한다.
• 방향 도함수, 강凸성, 리프시츠 연속성과 같은 이론적 도구를 활용하여 수렴 성질을 입증한다.

실험 결과

연구 질문

• RQ1 증분 주요화-최소화 기반 계획이 강凸 복합 문제에 대해 선형 수렴성을 달성할 수 있는가?
• RQ2 비凸 및 축합 최적화 문제에 대해 수렴 보장을 보장하기 위해 보조 함수에 어떤 조건이 필요한가?
• RQ3 기존의 SAG 및 SDCA와 같은 확률적 및 증분 방법과 비교할 때, 제안된 MISO 알고리즘의 수렴 속도와 확장성은 어떠한가?
• RQ4 로지스틱 회귀 및 비凸 페널티를 갖는 희소 추정과 같은 대규모 머신러닝 작업에 대해 이 방법이 효과적으로 적용될 수 있는가?
• RQ5 보조 함수의 비정확 최소화로도 수렴 분석을 확장할 수 있는가?

주요 결과

• MISO는 강凸 복합 목표 함수 최소화에 대해 선형 수렴성을 달성하며, SAG 및 SDCA와 동일한 수렴 속도를 보인다.
• 비凸 문제에 대해서는 정류점으로 거의 확실히 수렴함을 보장한다.
• 강凸성과 보조 함수의 부드러움 조건을 가정할 경우, 기대 목표 함수 값이 선형 속도로 수렴한다.
• 실험 결과, T가 충분히 클 경우 대규모 로지스틱 회귀에서 최첨단 방법과 경쟁 가능한 성능을 보였다.
• 비凸 페널티를 갖는 희소 추정 문제에서 실용적인 유용성을 입증하였으며, 기존의 복합 relaxation 접근법보다 뛰어난 성능을 보였다.
• 이론적 분석을 통해 목표 함수를 부드러운 오차까지 근사하는 일阶 보조 함수는 최소한의 계산 오버헤드로도 수렴 보장을 가능하게 한다.