[논문 리뷰] Asynchronous Distributed Bilevel Optimization

Yang Jiao, Kai Yang외 3명|arXiv (Cornell University)|2022. 12. 20.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 비볼록 목표 함수를 위한 비동기 분산 이중 최적화 알고리즘인 ADBO를 제안한다. 하위 수준 최적화 문제를 제약 조건으로 간주하고 컷팅 플레인 근사를 사용하여 처리한다. ε-정류점에 도달하기 위한 반복 복잡도가 O(1/ε²)이며, 느린 작업자에 대한 내성과 함께 효율적이고 확장 가능하며 강건한 분산 환경에서의 학습을 가능하게 한다.

ABSTRACT

Bilevel optimization plays an essential role in many machine learning tasks, ranging from hyperparameter optimization to meta-learning. Existing studies on bilevel optimization, however, focus on either centralized or synchronous distributed setting. The centralized bilevel optimization approaches require collecting massive amount of data to a single server, which inevitably incur significant communication expenses and may give rise to data privacy risks. Synchronous distributed bilevel optimization algorithms, on the other hand, often face the straggler problem and will immediately stop working if a few workers fail to respond. As a remedy, we propose Asynchronous Distributed Bilevel Optimization (ADBO) algorithm. The proposed ADBO can tackle bilevel optimization problems with both nonconvex upper-level and lower-level objective functions, and its convergence is theoretically guaranteed. Furthermore, it is revealed through theoretic analysis that the iteration complexity of ADBO to obtain the $ε$-stationary point is upper bounded by $\mathcal{O}(\frac{1}{ε^2})$. Thorough empirical studies on public datasets have been conducted to elucidate the effectiveness and efficiency of the proposed ADBO.

연구 동기 및 목표

• 중앙집중식 및 동기 분산 이중 최적화의 한계, 즉 통신 병목 현상, 데이터 기밀성 위험, 느린 작업자 문제를 해결하기 위해.
• 신뢰할 수 없거나 느린 작업자가 존재하는 대규모 분산 머신러닝 시스템에서도 수렴성과 효율성을 유지하는 비동기 분산 알고리즘을 설계하기 위해.
• 비동기 업데이트 하에 비볼록 상위 및 하위 수준 목표 함수를 가진 이중 최적화 문제에 대해 이론적으로 수렴성을 보장하기 위해.
• 기존의 중심집중식 및 동기 분산 이중 최적화 방법과 비교하여 제안된 방법의 수렴 속도 및 느린 작업자 조건 하에서의 강건성 측면에서의 우수성을 실증적으로 검증하기 위해.

제안 방법

• ADBO는 하위 수준 최적화 문제를 제약 조건으로 간주하고, 이를 컷팅 플레인을 사용해 근사함으로써 분산 계산을 가능하게 하여 이중 최적화 문제를 설정한다.
• 알고리즘은 단일 루프 구조를 사용하며, 여러 작업자 간에 상위 수준 및 하위 수준 변수를 동기화 없이 비동기적으로 업데이트한다.
• 파라미터 서버 아키텍처를 활용하여 작업자들이 독립적으로 기울기를 계산하고 업데이트를 중앙 서버에 전송함으로써 장애 내성과 대기 시간 감소를 달성한다.
• 반복 과정에서 점점 수축하는 중첩 가능한 탇합 영역의 시퀀스를 활용하여 정류점으로의 수렴을 보장한다.
• ADBO는 하위 수준 문제에서 유래된 암묵적 제약 조건을 처리하기 위해 이중 변수와 보조 변수를 도입하여 기울기 기반 업데이트의 효율성을 높인다.
• 이론적 분석을 통해 비볼록성 조건 하에서도 ε-정류점에 도달하기 위한 반복 복잡도가 O(1/ε²) 이내로 제한됨을 입증한다.

실험 결과

연구 질문

• RQ1 느린 작업자 문제를 피하고 분산 환경에서 수렴성을 유지하는 비동기 분산 이중 최적화 알고리즘을 설계할 수 있는가?
• RQ2 비볼록 목표 함수를 가진 비동기 이중 최적화 방법의 이론적 반복 복잡도는 무엇인가?
• RQ3 기존의 중심집중식 및 동기 분산 이중 최적화 방법과 비교하여 제안된 ADBO 알고리즘은 실질적으로 어떻게 성능을 발휘하는가?
• RQ4 컷팅 플레인 근사는 분산 및 비동기 환경에서 암묵적 하위 수준 제약 조건을 효과적으로 처리할 수 있는가?

주요 결과

• ADBO는 ε-정류점에 도달하기 위한 O(1/ε²) 반복 복잡도를 달성하였으며, 이는 비볼록 이중 최적화에서 알려진 최고의 복잡도와 일치한다.
• MNIST, Fashion MNIST, CIFAR-10, Covertype, IJCNN1, Australian 데이터셋에 대한 실증 결과에서 ADBO는 최신 중심집중식 및 동기 분산 방법보다 수렴 속도가 빠르게 나타났다.
• 세 명의 느린 작업자(일반 작업자보다 4배 느림)가 존재하는 실험 조건에서도 ADBO는 안정적인 수렴을 유지하며 동기 기반 기준보다 뛰어난 성능을 보였다. 반면 동기 기반 기준은 정지하거나 성능이著しく 떨어졌다.
• 다양한 데이터셋과 시스템 구성(다양한 통신 지연 및 작업자 수 포함)에서도 알고리즘이 강건성과 확장성을 입증하였다.
• 학습률 스케줄링(표 2 요약)은 각 데이터셋에 맞게 조정되었으며, ADBO는 모든 설정에서 안정적이고 효과적인 성능을 유지하였다.