[논문 리뷰] A framework for bilevel optimization that enables stochastic and global variance reduction algorithms

Mathieu Dagréou, Pierre Ablin외 2명|arXiv (Cornell University)|2022. 01. 31.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 암시함수정리에서 유도되는 선형계의 해와 함께 외부 변수, 내부 변수를 동시에 최적화하는 새로운 이중최적화 프레임워크를 제안한다. 업데이트 방향을 $F_j$와 $G_i$의 개별 기울기의 합으로 표현함으로써 비편향의 확률적 추정기를 가능하게 하고, 이는 $O(1/T)$ 수렴 속도와 폴리악-로자예프스키 조건 하에서 선형 수렴을 달성하는 변동성 감소 알고리즘인 SABA로 이어진다. 이는 이러한 수렴 속도를 갖는 첫 번째 스위치 기반 이중최적화 방법이다.

ABSTRACT

Bilevel optimization, the problem of minimizing a value function which involves the arg-minimum of another function, appears in many areas of machine learning. In a large scale empirical risk minimization setting where the number of samples is huge, it is crucial to develop stochastic methods, which only use a few samples at a time to progress. However, computing the gradient of the value function involves solving a linear system, which makes it difficult to derive unbiased stochastic estimates. To overcome this problem we introduce a novel framework, in which the solution of the inner problem, the solution of the linear system, and the main variable evolve at the same time. These directions are written as a sum, making it straightforward to derive unbiased estimates. The simplicity of our approach allows us to develop global variance reduction algorithms, where the dynamics of all variables is subject to variance reduction. We demonstrate that SABA, an adaptation of the celebrated SAGA algorithm in our framework, has $O(\frac1T)$ convergence rate, and that it achieves linear convergence under Polyak-Lojasciewicz assumption. This is the first stochastic algorithm for bilevel optimization that verifies either of these properties. Numerical experiments validate the usefulness of our method.

연구 동기 및 목표

• 머신러닝 분야에서 대규모 이중최적화 문제를 위한 확장 가능한 스위치 알고리즘 개발의 과제를 해결한다.
• 가치 함수 기울기에서 헤시안 역행렬의 존재로 인한 비편향 기울기 추정의 어려움을 극복한다.
• 기존 단일레벨 최적화에서 성공한 변동성 감소 기법을 이중최적화 환경에 적용할 수 있도록 한다.
• 비볼록 설정에서 단일레벨 최적화의 대응 알고리즘(예: SAGA)과 동일한 수렴 속도를 달성한다.
• 비볼록 및 PL-정규화 설정 모두에 이론적 보장을 제공한다.

제안 방법

• 외부 변수, 내부 변수, 선형계의 해가 동시에 진화하는 공동 진화 프레임워크를 제안한다.
• 업데이트 방향을 $F_j$와 $G_i$의 개별 기울기의 합으로 표현함으로써 비편향의 확률적 추정기를 가능하게 한다.
• 감소하는 스텝 사이즈를 사용하는 이 프레임워크 기반의 스위치 기울기 변형인 SOBA를 설계한다.
• 역사적 기울기 추적을 사용하여 이중최적화 프레임워크에 적합하게 조정된 변동성 감소 확장형 알고리즘인 SABA를 개발한다.
• 외부, 내부, 선형계 해의 오차를 통합하는 리아푸노프 함수 $\mathcal{L}^t$ 를 도입하여 수렴성을 분석한다.
• 요우엔의 부등식과 강凸성 가정을 사용하여 오차 전파를 통제하는 내림림 레미마를 유도한다.

실험 결과

연구 질문

• RQ1 스위치 기반 이중최적화 알고리즘을 설계하여 $O(1/T)$ 수렴 속도를 달성할 수 있는가?
• RQ2 폴리악-로자예프스키 조건 하에서 스위치 방법을 사용해 선형 수렴을 달성할 수 있는가?
• RQ3 단일레벨 최적화에서 성공한 변동성 감소 기법을 이중문제에 성공적으로 적용할 수 있는가?
• RQ4 헤시안 역행렬이 포함된 이중최적화 기울기의 비편향 확률적 추정기를 어떻게 구성할 수 있는가?
• RQ5 리프시츠 기울기와 강凸성과 같은 더 약한 정규성 가정 하에서 어떤 수렴 속도를 달성할 수 있는가?

주요 결과

• SABA는 평균 제곱 기울기 노름의 $O(1/T)$ 수렴 속도를 달성하며, 이는 단일레벨 최적화에서 알려진 최고 수준의 SAGA와 동일한 속도이다.
• 폴리악-로자예프스키 조건 하에서 SABA는 선형 수렴을 달성하여, 이는 이러한 성질을 갖는 첫 번째 스위치 기반 이중최적화 알고리즘이다.
• 감소하는 스텝 사이즈를 사용할 경우, SOBA는 $\mathbb{E}[ abla h(x^t)^2] = O(\log(T) T^{-1/2})$ 의 수렴 속도를 달성한다.
• 헤시안 역행렬 문제를 해결하기 위해 업데이트를 개별 기울기의 합으로 표현함으로써 비편향의 확률적 추정기를 가능하게 하는 프레임워크를 제공한다.
• 더 약한 정규성 가정 하에서 SABA는 $O((n+m)\epsilon^{-1})$ 의 샘플 복잡도를 달성하며, 이는 풀배치 SOBA와 동일하지만, 수렴 속도는 $O(T^{-2/5})$ 로 떨어진다.
• 이론적 분석을 통해 강한 가정 하에서 리아푸노프 함수 $\mathcal{L}^t$ 가 기하급수적으로 감소함을 보여주며, 선형 수렴을 증명한다.