[논문 리뷰] A Single-Timescale Stochastic Bilevel Optimization Method

Tianyi Chen, Yuejiao Sun외 1명|arXiv (Cornell University)|2021. 02. 09.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 26

한 줄 요약

이 논문은 일반적인 이중선형 최적화 문제에서 ε-정류점(ε-stationary point)을 찾는 데 𝒪(ε⁻²)의 최적 샘플 복잡도를 달성하고, 강한 볼록 케이스에서는 ε-최적 해를 구하는 데 𝒪(ε⁻¹)의 샘플 복잡도를 달성하는 단일 루프, 단일 시간 스케일의 확률적 이중선형 최적화 방법 STABLE을 제안한다. 이는 단일선형 문제에서의 확률적 경사하강법의 효율성과 일치한다.

ABSTRACT

Stochastic bilevel optimization generalizes the classic stochastic optimization from the minimization of a single objective to the minimization of an objective function that depends the solution of another optimization problem. Recently, stochastic bilevel optimization is regaining popularity in emerging machine learning applications such as hyper-parameter optimization and model-agnostic meta learning. To solve this class of stochastic optimization problems, existing methods require either double-loop or two-timescale updates, which are sometimes less efficient. This paper develops a new optimization method for a class of stochastic bilevel problems that we term Single-Timescale stochAstic BiLevEl optimization (STABLE) method. STABLE runs in a single loop fashion, and uses a single-timescale update with a fixed batch size. To achieve an $\epsilon$-stationary point of the bilevel problem, STABLE requires ${\cal O}(\epsilon^{-2})$ samples in total; and to achieve an $\epsilon$-optimal solution in the strongly convex case, STABLE requires ${\cal O}(\epsilon^{-1})$ samples. To the best of our knowledge, this is the first bilevel optimization algorithm achieving the same order of sample complexity as the stochastic gradient descent method for the single-level stochastic optimization.

연구 동기 및 목표

• 이중선형 최적화 방법이 이중 루프 또는 이중 시간 스케일 업데이트에 의존함에 따라 효율성이 떨어지는 문제를 해결하기 위해.
• 고정 배치 크기를 유지하고 복잡한 스케줄링을 피하는 단일 루프 알고리즘을 개발하기 위해.
• 단일선형 최적화에서의 확률적 경사하강법과 비교해 최적의 샘플 복잡도를 달성하기 위해.
• 기계학습 분야에서 더 효율적인 하이퍼파rameter 튜닝 및 메타학습 응용을 가능하게 하기 위해.

제안 방법

• 이중 루프 또는 이중 시간 스케일 동역학을 피하는 단일 루프, 단일 시간 스케일 업데이트 규칙을 제안한다.
• 최적화 전반에 걸쳐 고정된 배치 크기를 사용하여 구현 및 하이퍼파rameter 튜닝을 단순화한다.
• 하위 최적화 해의 민감도를 활용해 상위 최적화 기울기의 새로운 추정기를 도입한다.
• 하위 최적화 해의 헤시안을 재귀적 근사로 사용하여 상위 최적화 업데이트의 안정성을 높인다.
• 이중선형 문제에 특화된 분산 감소 메커니즘을 설계하여 수렴 성능을 향상시킨다.
• 총 샘플 수 𝒪(ε⁻²)로 ε-정류점에 수렴하고, 강한 볼록 케이스에서는 ε-최적 해를 구하기 위해 𝒪(ε⁻¹)의 샘플 수를 확보한다.

실험 결과

연구 질문

• RQ1 단일 시간 스케일의 이중선형 최적화 방법이 최적 샘플 복잡도를 달성할 수 있는가?
• RQ2 이중 루프 또는 이중 시간 스케일 방법에 비해 단일 루프 알고리즘이 샘플 효율성 측면에서 뛰어나게 되는가?
• RQ3 제안된 방법이 단일선형 문제에서의 확률적 경사하강법의 샘플 복잡도를 재현할 수 있는가?
• RQ4 ε-정류점 및 ε-최적 해를 찾는 데 있어 제안된 STABLE 방법의 이론적 샘플 복잡도는 무엇인가?
• RQ5 고정 배치, 단일 루프 설계가 이중선형 최적화에서 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• STABLE는 일반적인 이중선형 최적화 문제에서 ε-정류점에 도달하기 위해 𝒪(ε⁻²)의 샘플 복잡도를 달성한다.
• 강한 볼록 케이스에서는 ε-최적 해를 얻기 위해 𝒪(ε⁻¹)의 샘플 복잡도를 확보한다.
• STABLE의 샘플 복잡도는 단일선형 최적화 문제에서의 확률적 경사하강법과 동일하다.
• STABLE는 이중 루프 또는 이중 시간 스케일 업데이트 없이도 이 최적 샘플 복잡도를 달성한 최초의 이중선형 최적화 방법이다.
• 이 방법은 고정된 배치 크기를 유지하고 단일 루프에서 작동하여 구현 및 하이퍼파arameter 관리가 간편하다.
• 이론적 분석은 표준 가정 하에서 수렴성을 확인하며, 적응형 학습률이나 복잡한 스케줄링이 필요하지 않음을 입증한다.