[논문 리뷰] SAGA: A Fast Incremental Gradient Method With Support for Non-Strongly Convex Composite Objectives

Aaron Defazio, Francis Bach외 1명|arXiv (Cornell University)|2014. 07. 01.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 928

한 줄 요약

SAGA는 복합 문제에 대해 강凸성과 비강凸성 모두에서 SAG와 SVRG보다 빠른 수렴을 달성하는 새로운 증분 경사 방법이다. 복합 설정에서 프록시 연산자를 지원하며, 과거 기울기의 동적 테이블을 사용하는 분산 감소 업데이트를 통해 자연스럽게 문제의 본질적 강凸성을 인식하고, 정규화나 단계 크기 조정이 필요 없이 자동으로 적응한다.

ABSTRACT

In this work we introduce a new optimisation method called SAGA in the spirit of SAG, SDCA, MISO and SVRG, a set of recently proposed incremental gradient algorithms with fast linear convergence rates. SAGA improves on the theory behind SAG and SVRG, with better theoretical convergence rates, and has support for composite objectives where a proximal operator is used on the regulariser. Unlike SDCA, SAGA supports non-strongly convex problems directly, and is adaptive to any inherent strong convexity of the problem. We give experimental results showing the effectiveness of our method.

연구 동기 및 목표

• 기존 방법들인 SAG, SVRG, SDCA보다 수렴 속도와 유연성 면에서 뛰어난 빠른 증분 경사 방법을 개발한다.
• 프록시 연산자를 통한 비미분 가능 정규화 요소를 지원하여 L1-정규화 문제에까지 적용 가능성을 확장한다.
• 인위적인 정규화 없이도 비강凸성 문제에 직접 적용 가능하게 하여 추가 하이퍼파rameter를 피한다.
• 문제에 실제로 존재하는 강凸성 수준에 자동으로 적응하는 수렴 속도를 달성하여 안정성과 성능을 향상시킨다.

제안 방법

• SAGA는 각 구성 함수에 대해 과거 기울기 값의 테이블을 유지하여 확률적 업데이트에서 효율적인 분산 감소를 가능하게 한다.
• 각 반복에서 무작위로 인덱스 j를 선택하고, 현재 점 x^k에서의 기울기를 사용하여 테이블을 갱신하고 수정된 기울기 추정치를 계산한다.
• 업데이트 규칙은 현재 기울기, 동일 구성 요소의 이전 기울기, 그리고 모든 과거 기울기의 평균을 조합하여 저분산 추정치를 형성한다.
• 비미분 가능 정규화 요소(예: L1)를 처리하기 위해 중간 업데이트에 프록시 연산자를 적용하여 복합 목표 함수 최적화를 가능하게 한다.
• 강凸성 경우 단계 크기 γ = 1/(2(μn + L))를 사용하고, 비강凸성 경우 γ = 1/(3L)를 사용하며, μ에 대해 자동 적응한다.
• 알고리즘은 단순하고 효율적이며, 구성 요소당 하나의 기울기만 저장하여 최소한의 메모리 오버헤드를 유도한다.

실험 결과

연구 질문

• RQ1 SAG와 SVRG보다 더 빠른 수렴을 달성하면서도 복합 목표 함수를 지원하는 새로운 증분 경사 방법을 설계할 수 있는가?
• RQ2 인위적인 정규화 없이도 비강凸성 문제에 직접 적용 가능한가?
• RQ3 문제에 실제로 존재하는 강凸성 수준에 자동으로 적응하여 실질적인 수렴 성능을 향상시키는가?
• RQ4 SAGA의 이론적 수렴 속도가 강凸성 및 비강凸성 설정 모두에서 SDCA, SAG, SVRG와 비교해 어떻게 되는가?

주요 결과

• 강凸성 경우 SAGA는 (1 - μ/(2(μn + L)))^k 의 선형 수렴 속도를 달성하며, 이는 SAG와 SVRG보다 빠르며 SDCA의 최적 수렴 속도의 2배 이내이다.
• 비강凸성 경우 SAGA는 평균 반복에 대해 O(1/k) 수렴 속도를 달성하며, 단계 크기 γ = 1/(3L)를 사용하여 최고 수준의 알려진 속도를 달성한다.
• SAGA는 문제에 실제로 존재하는 강凸성 μ > 0 에 대해 자동으로 적응하여, μ를 입력으로 요구하지 않고도 (1 - min{1/(4n), μ/(3L)})^k 의 속도를 달성한다.
• SAGA는 프록시 연산자를 통해 복합 목표 함수를 지원하여 Lasso와 같은 L1-정규화 문제에 대해 효율적인 최적화를 가능하게 한다.
• 실험 결과 SAGA는 Finito와 SDCA와 경쟁 가능하며, 특히 적응적 단계 크기 조정 없이도 초기 반복에서 SAG를 능가한다.
• 재조정 단계나 추가 하이퍼파rameter가 필요 없어, 비강凸성 설정에서 SVRG와 SAG보다 더 실용적이다.