[논문 리뷰] A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization.

Prashant Khanduri, Siliang Zeng외 4명|arXiv (Cornell University)|2021. 02. 15.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 8

한 줄 요약

이 논문은 강력한 볼록성을 가지는 하위 문제를 가진 비제약 이중 최적화 문제를 위한 모멘텀 보조 단일 시간스케일 확률적 근사(MSTSA) 알고리즘을 제안한다. 확률적 모멘텀 그래디언트 추정기를 사용함으로써 MSTSA는 이중 시간스케일 또는 더블루프 구조를 회피하고, 비볼록 상위 목표 함수의 경우 𝒪(ε⁻²), 강력한 볼록성 있는 경우 𝒪(ε⁻¹)의 최적 반복 복잡도를 달성하며, 이는 확률적 이중 최적화에서 알려진 최고의 보장을 그대로 유지한다.

ABSTRACT

This paper proposes a new algorithm -- the Momentum-assisted Single-timescale Stochastic Approximation (MSTSA) -- for tackling unconstrained bilevel optimization problems. We focus on bilevel problems where the lower level subproblem is strongly-convex. Unlike prior works which rely on two timescale or double loop techniques that track the optimal solution to the lower level subproblem, we design a stochastic momentum assisted gradient estimator for the upper level subproblem's updates. The latter allows us to gradually control the error in stochastic gradient updates due to inaccurate solution to the lower level subproblem. We show that if the upper objective function is smooth but possibly non-convex (resp. strongly-convex), MSTSA requires $\mathcal{O}(\epsilon^{-2})$ (resp. $\mathcal{O}(\epsilon^{-1})$) iterations (each using constant samples) to find an $\epsilon$-stationary (resp. $\epsilon$-optimal) solution. This achieves the best-known guarantees for stochastic bilevel problems. We validate our theoretical results by showing the efficiency of the MSTSA algorithm on hyperparameter optimization and data hyper-cleaning problems.

연구 동기 및 목표

• 이중 시간스케일 또는 더블루프 구조에 의존하는 기존 이중 최적화 방법에서 높은 계산 비용을 해결한다.
• 하위 문제 최적 해의 정확한 추적을 요구하지 않으면서도 수렴 보장을 유지하는 단일 시간스케일 접근법을 개발한다.
• 확률적 이중 최적화 문제에서 비볼록 및 강력한 볼록성 있는 상위 목표 함수 모두에 대해 최적의 반복 복잡도를 달성한다.
• 반복마다 중첩 루프와 다중 그래디언트 평가에 대한 의존도를 줄임으로써 실용적 효율성을 향상시킨다.
• 초모수 최적화 및 데이터 하이퍼클리닝 작업에서 이론적 개선 사항을 경험적으로 검증한다.

제안 방법

• 근사된 하위 문제 해에서 발생하는 오차를 줄이기 위해 상위 목표 함수의 확률적 모멘텀 보조 그래디언트 추정기를 제안한다.
• 상위 및 하위 문제 변수를 별도의 수렴 시간스케일 없이 동시에 최적화하는 단일 시간스케일 업데이트 규칙을 설계한다.
• 하위 문제의 강력한 볼록성을 활용하여 상위 목표 함수의 확률적 그래디언트 추정치의 오차를 경계한다.
• 노이즈가 많은 그래디언트 추정치에도 불구하고 상위 문제 업데이트의 수렴을 안정화하고 가속화하기 위해 모멘텀 항을 도입한다.
• 반복마다 일정한 샘플 크기를 사용하여 확장성과 실용적 효율성을 보장한다.
• 光滑성 및 강력한 볼록성 가정 하에 수렴 분석을 정형화하여 최적의 반복 복잡도 한계를 도출한다.

실험 결과

연구 질문

• RQ1 이중 시간스케일 또는 더블루프 메커니즘에 의존하지 않고도 단일 시간스케일 확률적 알고리즘이 이중 최적화에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 그래디언트 추정기에 모멘텀을 통합할 경우 이중 확률적 근사에서 수렴 행동과 오차 제어에 어떤 영향을 미치는가?
• RQ3 상위 목표 함수가 부드럽지만 가능하면 비볼록일 경우 단일 시간스케일 방법의 이론적 반복 복잡도는 무엇인가?
• RQ4 제안된 방법이 확률적 설정에서 강력한 볼록성 있는 상위 목표 함수에 대해 최적의 수렴을 유지할 수 있는가?
• RQ5 초모수 조정 및 데이터 정제와 같은 실용적 이중 최적화 학습 과제에서 알고리즘이 어떻게 성능을 발휘하는가?

주요 결과

• 상위 목표 함수가 부드럽지만 가능하면 비볼록일 경우 MSTSA는 ε-정류점(ε-stationary point)을 찾는 데 𝒪(ε⁻²)의 반복 복잡도를 달성한다.
• 강력한 볼록성 있는 상위 목표 함수의 경우 MSTSA는 ε-최적 해를 구하는 데 최적의 반복 복잡도 𝒪(ε⁻¹)를 달성한다.
• 알고리즘은 확률적 이중 최적화에서 알려진 최고의 이론적 보장 수준을 그대로 유지하며, 이전의 이중 시간스케일 또는 더블루프 방법보다 뛰어나다.
• 경험적 결과는 MSTSA가 초모수 최적화 및 데이터 하이퍼클리닝에서 효율적임을 보여주며, 실용적 이점이 있음을 검증한다.
• 모멘텀 보조 그래디언트 추정기는 정확하지 않은 하위 문제 해에서 오는 오차를 효과적으로 제어하여 안정적이고 빠른 수렴을 가능하게 한다.
• 이 방법은 반복마다 일정한 샘플 복잡도를 유지하여 대규모 환경에서의 확장성과 실용적 구현을 향상시킨다.