[논문 리뷰] Enhanced Bilevel Optimization via Bregman Distance

Feihu Huang, Li, Junyi외 2명|arXiv (Cornell University)|2021. 07. 26.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 비볼록-강볼록 문제에 대해 부드럽지 않은 정규화를 고려하는 데 Bregman 거리(Bregman distance)를 활용한 새로운 이중 최적화 방법 BiO-BreD, SBiO-BreD, ASBiO-BreD를 제안한다. 이 방법들은 특히 조건 수 κ와 목표 정확도 ϵ에 대한 의존도를 줄여 계산 복잡도를 향상시키며, 하이퍼클레닝 및 하이퍼표현 학습 과제에서 이전 작업들을 능가한다.

ABSTRACT

Bilevel optimization has been recently used in many machine learning problems such as hyperparameter optimization, policy optimization, and meta learning. Although many bilevel optimization methods have been proposed, they still suffer from the high computational complexities and do not consider the more general bilevel problems with nonsmooth regularization. In the paper, thus, we propose a class of enhanced bilevel optimization methods with using Bregman distance to solve bilevel optimization problems, where the outer subproblem is nonconvex and possibly nonsmooth, and the inner subproblem is strongly convex. Specifically, we propose a bilevel optimization method based on Bregman distance (BiO-BreD) to solve deterministic bilevel problems, which achieves a lower computational complexity than the best known results. Meanwhile, we also propose a stochastic bilevel optimization method (SBiO-BreD) to solve stochastic bilevel problems based on stochastic approximated gradients and Bregman distance. Moreover, we further propose an accelerated version of SBiO-BreD method (ASBiO-BreD) using the variance-reduced technique, which can achieve a lower computational complexity than the best known computational complexities with respect to condition number $κ$ and target accuracy $ε$ for finding an $ε$-stationary point. We conduct data hyper-cleaning task and hyper-representation learning task to demonstrate that our new algorithms outperform related bilevel optimization approaches.

연구 동기 및 목표

• 비볼록-강볼록 문제에 대해 부드럽지 않은 정규화가 있는 이중 최적화에서 높은 계산 복잡도를 해결한다.
• 기존의 이중 최적화 방법을 일반적인 비부드러운 정규화 항(예: ℓ1-노름)을 처리할 수 있도록 확장한다.
• 불확실성과 노이즈가 있는 기울기 조건 하에서 효율적인 확률적 및 가속화된 변형을 개발한다.
• 조건 수 κ와 목표 정확도 ϵ에 대한 의존도를 줄여 개선된 수렴 속도를 달성한다.
• 실세계 기계 학습 과제, 예를 들어 데이터 하이퍼클레닝 및 하이퍼표현 학습에서 뛰어난 성능을 보여준다.

제안 방법

• BiO-BreD를 제안한다. 이는 외부 문제를 정규화하기 위해 Bregman 거리를 사용하고 수렴 속도를 가속화하는 결정론적 이중 최적화 방법이다.
• SBiO-BreD를 도입한다. 이는 Bregman 거리와 확률적 기울기 근사치를 결합하여 노이즈가 있는 목표 함수를 처리하는 확률적 이중 최적화 방법이다.
• ASBiO-BreD를 개발한다. 이는 분산 감소 기법(SARAH/SPIDER 등)을 사용하여 샘플 효율성을 향상시키는 가속화된 변형이다.
• Bregman 발산을 활용하여 내부 및 외부 최적화 다이내믹스를 분리함으로써 안정적이고 효율적인 갱신을 가능하게 한다.
• 리아푸노프 함수 기반 분석을 설계하여 비볼록 및 비부드러운 설정 하에서 수렴 보장을 확립한다.
• Bregman 기하학에 의해 조정된 적응형 스텝 사이즈와 모멘타임 항을 사용하여 수렴성과 안정성을 균형 잡는다.

실험 결과

연구 질문

• RQ1 비부드러운 정규화가 있는 이중 최적화에서 Bregman 거리가 계산 복잡도를 줄이는 데 효과적으로 사용될 수 있는가?
• RQ2 제안된 방법은 조건 수 의존성과 수렴 속도 측면에서 최첨단 이중 최적화 솔버들과 비교해 어떻게 성능을 내는가?
• RQ3 분산 감소 기반의 확률적 기울기들이 노이즈가 있는 데이터 상황에서 이중 최적화의 샘플 효율성을 향상시킬 수 있는가?
• RQ4 비부드러운 정규화(예: ℓ1)의 포함이 수렴 행동과 계산 비용에 상당한 영향을 미치는가?
• RQ5 제안된 방법들은 기존 방법들과 비교해 하이퍼파ram터 튜닝 및 메타학습 과제에서 더 나은 경험적 성능을 달성할 수 있는가?

주요 결과

• BiO-BreD는 ε-정류점(ε-stationary point)을 찾는 데 O(κ²ε⁻¹)의 기울기 복잡도를 달성하여 이전 방법의 O(κ³ε⁻¹) 또는 그 이상보다 향상되었다.
• SBiO-BreD는 확률적 기울기 복잡도를 ˜O(κ³ε⁻¹)로 줄여 기존의 확률적 이중 최적화 솔버들과 경쟁하거나 이를 초월한다.
• ASBiO-BreD는 기존에 알려진 최고 성능 결과보다 낮은 계산 복잡도를 달성하며, 조건 수 κ와 목표 정확도 ε에 대한 의존도가 향상되었다.
• 제안된 방법들은 데이터 하이퍼클레닝 및 하이퍼표현 학습 과제에서 AID-BiO, ITD-BiO 및 기타 베이스라인보다 뛰어난 성능을 보였다.
• 이론적 분석을 통해 비볼록 및 비부드러운 설정 하에서 ε-정류점으로의 수렴을 확인하였으며, 오차 항에 대한 명시적 경계를 제공하였다.
• 경험적 결과는 다양한 노이즈 수준과 정규화 조건에서 Bregman 기반 방법의 강건성과 효율성을 다양한 기계 학습 벤치마크에서 검증하였다.