[논문 리뷰] Convex Optimization without Projection Steps

Martin Jaggi|arXiv (Cornell University)|2011. 08. 04.

Sparse and Compressive Sensing Techniques참고 문헌 93인용 수 28

한 줄 요약

이 논문은 컴act한 볼록 도메인 위에서 볼록 최적화를 위한 프로젝션을 사용하지 않는 1차 최적화 알고리즘을 제안한다. 프로젝션 대신 선형 하위문제를 해결함으로써 프랭크-울프 방법을 일반화한다. ε-정확도의 이중성 갭을 확보하며 O(1/ε) 수렴 속도를 달성함으로써, ℓ₁-정규화 및 저질서 행렬 문제에 대해 O(1/ε)의 날카운 스파arsity 및 랭크 경계를 확립하고, 넷플릭스 및 무비렌즈 데이터셋과 같은 대규모 행렬 완성 작업에서 뛰어난 확장성을 보여준다.

ABSTRACT

For the general problem of minimizing a convex function over a compact convex domain, we will investigate a simple iterative approximation algorithm based on the method by Frank & Wolfe 1956, that does not need projection steps in order to stay inside the optimization domain. Instead of a projection step, the linearized problem defined by a current subgradient is solved, which gives a step direction that will naturally stay in the domain. Our framework generalizes the sparse greedy algorithm of Frank & Wolfe and its primal-dual analysis by Clarkson 2010 (and the low-rank SDP approach by Hazan 2008) to arbitrary convex domains. We give a convergence proof guaranteeing ε-small duality gap after O(1/ε) iterations. The method allows us to understand the sparsity of approximate solutions for any l1-regularized convex optimization problem (and for optimization over the simplex), expressed as a function of the approximation quality. We obtain matching upper and lower bounds of Θ(1/ε) for the sparsity for l1-problems. The same bounds apply to low-rank semidefinite optimization with bounded trace, showing that rank O(1/ε) is best possible here as well. As another application, we obtain sparse matrices of O(1/ε) non-zero entries as ε-approximate solutions when optimizing any convex function over a class of diagonally dominant symmetric matrices. We show that our proposed first-order method also applies to nuclear norm and max-norm matrix optimization problems. For nuclear norm regularized optimization, such as matrix completion and low-rank recovery, we demonstrate the practical efficiency and scalability of our algorithm for large matrix problems, as e.g. the Netflix dataset. For general convex optimization over bounded matrix max-norm, our algorithm is the first with a convergence guarantee, to the best of our knowledge.

연구 동기 및 목표

• 비용이 많이 드는 프로젝션 단계를 피하기 위해 선형 하위문제의 해를 기반으로 하는 1차 최적화 알고리즘을 개발한다.
• 프랭크-울프 방법을 복잡한 구조(예: 정수형, 행렬 노름 제약 조건 포함)를 가진 임의의 컴팩트 볼록 도메인으로 일반화한다.
• ε-이중성 갭을 확보하기 위한 O(1/ε) 반복 복잡도를 갖는 이론적 수렴 보장을 수립한다.
• ℓ₁-정규화 문제에 대해 스파arsity(O(1/ε))와 저질서 행렬 문제에 대해 랭크(O(1/ε))에 대한 날카운 상한 및 하한 경계를 유도한다.
• 핵심 노름 및 최대 노름 정규화를 사용한 대규모 행렬 완성 및 저질서 복구 작업에서 실용적 확장성과 효율성을 입증한다.

제안 방법

• 해당 도메인 내에서 목적 함수의 선형 근사를 반복적으로 풀어 내림차순 방향을 결정함으로써, 모든 반복값이 타당성을 유지하면서 프로젝션 없이 진행한다.
• 각 반복 단계에서 최적의 스텝 사이즈를 결정하기 위해 선형 검색을 사용하여 선택된 방향을 따라 목적 함수를 최소화한다.
• 볼록 함수의 곡률 측도를 사용하여 수렴 속도를 제한하고 O(1/ε) 복잡도 보장을 도출한다.
• 행렬 스파arsity 및 저질서 제약 조건의 구조를 활용하여 핵심 노름 및 최대 노름 행렬 최적화를 다룰 수 있도록 방법을 확장한다.
• 확장성 향상과 대규모 설정에의 적응을 위해 랜덤화 및 스토하스틱 변형을 도입한다.
• 제한된 트레이스 또는 핵심 노름 도메인 위에서의 볼록 최적화로 문제를 공식화함으로써, 행렬 완성 및 강건한 주성분 분석에 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 비용이 많이 드는 프로젝션 단계 없이도 수렴 보장을 유지하면서 1차 최적화 방법을 설계할 수 있는가?
• RQ2 ℓ₁-정규화 및 저질서 행렬 문제의 ε-근사 해에서 달성 가능한 최적의 스파arsity 또는 랭크는 무엇인가?
• RQ3 대규모 행렬 인수분해 문제에서 기존 최첨단 알고리즘과 비교해 실용적으로 어떻게 성능을 냈는가?
• RQ4 프랭크-울프 스타일 접근법을 핵심 노름 및 최대 노름 정규화가 적용된 행렬 최적화로 일반화할 수 있으며, 이론적 수렴 보장이 가능한가?
• RQ5 넷플릭스 및 무비렌즈와 같은 실제 데이터셋에서 이 방법의 계산 비용과 확장성은 어떠한가?

주요 결과

• 알고리즘은 O(1/ε) 수렴 속도를 달성하여, O(1/ε) 반복 후 ε-이중성 갭을 보장하며, 고전적 경사하강법의 복잡도와 일치한다.
• ℓ₁-정규화 문제의 경우, ε-근사 해의 스파arsity는 Θ(1/ε)로 경계되며, 상한과 하한이 일치함이 입증되었다.
• 제한된 트레이스가 있는 저질서 행렬 최적화 문제에서, ε-근사 해의 랭크 역시 Θ(1/ε)로 경계되며, 이는 최적성의 증명이다.
• 무비렌즈 10M 데이터셋에서, 알고리즘은 52분(400회 반복) 동안 테스트 RMSE 0.8573을 달성하여 이전 방법보다 빠르고 확장성 면에서 뛰어났다.
• 넷플릭스 데이터셋에서, 알고리즘은 13.6시간(200회 반복) 동안 경쟁 가능한 RMSE 0.9478을 달성했으며, 후처리 히우리스틱을 사용하지 않음에도 불구하고 소프트 임피트 방법보다 런타임 면에서 뛰어났다.
• 지식의 한계에서, 이 방법은 최초로 최대 노름 정규화가 적용된 행렬 최적화에 대해 수렴 보장을 갖는다.