[논문 리뷰] One Method to Rule Them All: Variance Reduction for Data, Parameters and Many New Methods

Filip Hanzely, Peter Richtárik|arXiv (Cornell University)|2019. 05. 27.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 10

한 줄 요약

이 논문은 SAGA, LSVRG, JacSketch, SEGA, ISEGA 등 기존의 수많은 알고리즘을 동시에 데이터, 파라미터, 기울기 추정기에서의 분산을 줄임으로써 일반화하고 통합하는 통합된 분산 감소 확률적 최적화 방법을 제안한다. 저자들은 부드러움과 준강강凸성 조건 하에서 선형 수렴를 보장하는 단일 수렴 정리를 수립하였으며, 이는 알려진 수렴 속도를 복원하거나 향상시키고, 확률적 기울기 강하법 및 좌표 강하법에 대한 통합된 이론을 가능하게 한다.

ABSTRACT

We propose a remarkably general variance-reduced method suitable for solving regularized empirical risk minimization problems with either a large number of training examples, or a large model dimension, or both. In special cases, our method reduces to several known and previously thought to be unrelated methods, such as { t SAGA}, { t LSVRG}, { t JacSketch}, { t SEGA} and { t ISEGA}, and their arbitrary sampling and proximal generalizations. However, we also highlight a large number of new specific algorithms with interesting properties. We provide a single theorem establishing linear convergence of the method under smoothness and quasi strong convexity assumptions. With this theorem we recover best-known and sometimes improved rates for known methods arising in special cases. As a by-product, we provide the first unified method and theory for stochastic gradient and stochastic coordinate descent type methods.

연구 동기 및 목표

• 고차원 데이터 또는 모델을 가진 대규모 머신러닝 문제에서 표준 확률적 기울기 강하법 및 좌표 강하법의 수렴 제한성을 해결하기 위해.
• 이전에는 관련이 없는 것으로 간주되었던 다양한 분산 감소 기법들을 하나의 일반적인 알고리즘 프레임워크로 통합하기 위해.
• 모든 특수 케이스에 적용 가능한 단일 수렴 정리를 수립하여, 확률적 기울기 강하법 및 좌표 강하법에 대한 통합된 이론적 분석을 가능하게 하기 위해.
• 데이터 샘플링, 파라미터 업데이트, 기울기 추정기에서의 분산을 동시에 줄이는 방법을 개발하여 수렴 안정성과 속도를 향상시키기 위해.
• 프레임워크 내에서 다양한 구성 요소를 선택함으로써 증명 가능하고 효율적인 새로운 알고리즘을 체계적으로 유도할 수 있는 방법을 제공하기 위해.

제안 방법

• 이 방법은 보편적인 확률적 업데이트 규칙에 기반하며, 데이터, 파rameter, 모델 업데이트에서 분산을 줄이는 정확한 기울기 추정기를 결합한 프록시멀 기울기 단계를 포함한다.
• 함수와 좌표에 대한 무작위 샘플링 메커니즘을 사용하는 새로운 기울기 추정기를 도입하여, 임의의 샘플링 체계와 프록시멀 연산자를 허용하는 구조를 갖춘다.
• 행렬 기반의 분산 감소 메커니즘을 프레임워크에 통합하여, 연산자 M†과 B를 통해 기울기 추정기의 분산을 제어하고 수렴을 보장한다.
• 기울기 추정기의 이중 표현을 선형 연산자 G(x)를 통해 구현하며, 이는 수렴을 보장하는 무편향성과 분산 제어를 가능하게 하는 무작위 샘플링 체계 S를 통해 업데이트된다.
• 핵심 혁신은 전체 기울기를 계산하지 않더라도 추정기가 여전히 무편향이면서 분산을 줄일 수 있도록 보장하는 일致성 조건(영공간 제약 조건)을 사용하는 것이다.
• 기본 반복값과 이중 기울기 추정기 오차를 동시에 추적하는 통합 리아푸노프 함수를 통해 분석하여, 단일 수렴 정리를 도출한다.

실험 결과

연구 질문

• RQ1 SAGA, LSVRG, JacSketch, SEGA, ISEGA 등의 다양한 분산 감소 기법을 통합하는 단일 알고리즘 프레임워크가 존재할 수 있는가?
• RQ2 동일한 프레임워크 하에서 확률적 기울기 강하법과 확률적 좌표 강하법에 모두 적용 가능한 통합된 수렴 이론이 존재하는가?
• RQ3 제안된 방법이 기존의 전문화된 알고리즘들과 비교하여 향상되거나 동일한 수렴 속도를 달성할 수 있는가?
• RQ4 선형 수렴를 보장하기 위해 필요한 최소한의 가정은 무엇이며, 이는 부드러움과 강강凸성과 어떻게 관련되어 있는가?
• RQ5 다양한 샘플링 및 업데이트 규칙을 선택함으로써, 프레임워크에서 새로운 효율적인 알고리즘을 어떻게 체계적으로 도출할 수 있는가?

주요 결과

• 제안된 방법은 부드러움과 준강강凸성 조건 하에서 선형 수렴를 보이며, 이는 모든 특수 케이스를 포함하는 단일 정리로 이루어진다.
• SAGA, LSVRG, SEGA 등의 알려진 알고리즘의 최고 수준의 수렴 속도를 복원하거나 때로는 향상시킨다.
• 이 프레임워크는 확률적 기울기 강하법과 좌표 강하법를 둘 다 통합하는 최초의 이론적 프레임워크를 제공하며, 이들이 동일한 일반 알고리즘의 특수 케이스임을 보여준다.
• 이 방법은 임의의 샘플링 체계와 프록시멀 연산자를 지원하여, 증명 가능하고 수렴 보장이 되는 다양한 새로운 알고리즘을 가능하게 한다.
• 강한 성장 조건 하에서 알려진 속도와 동일한 순서의 수렴 속도를 보이며, 다양한 문제 영역에서의 안정성과 효율성을 나타낸다.
• 샘플링 및 연산자 구조를 조정함으로써 데이터와 파rameter 업데이트에서의 분산을 줄일 수 있는 새로운 알고리즘을 도출할 수 있으며, 이는 유리한 성질을 가진다.