[논문 리뷰] Randomized Stochastic Variance-Reduced Methods for Multi-Task Stochastic Bilevel Optimization

Zhishuai Guo, Quanqi Hu외 2명|arXiv (Cornell University)|2021. 05. 05.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 비볼록 다중작업 확률적 이중선형 최적화 문제를 위한 랜덤화된 확률적 분산 감소 알고리즘을 제안하며, 단일작업 문제의 경우 $O(1/\epsilon^3)$, 다중작업 문제의 경우 $O(m/\epsilon^3)$의 샘플 복잡도를 달성한다. 이는 각 반복에서 하위 문제를 일정 수의 수만 처리함으로써 가능하다. 이 방법은 비볼록 확률적 최적화의 최신 기준 샘플 복잡도를 충족하며, 최적 수렴 속도를 갖는 다중작업 이중선형 최적화 문제를 처음으로 다루는 것이다.

ABSTRACT

In this paper, we consider non-convex stochastic bilevel optimization (SBO) problems that have many applications in machine learning. Although numerous studies have proposed stochastic algorithms for solving these problems, they are limited in two perspectives: (i) their sample complexities are high, which do not match the state-of-the-art result for non-convex stochastic optimization; (ii) their algorithms are tailored to problems with only one lower-level problem. When there are many lower-level problems, it could be prohibitive to process all these lower-level problems at each iteration. To address these limitations, this paper proposes fast randomized stochastic algorithms for non-convex SBO problems. First, we present a stochastic method for non-convex SBO with only one lower problem and establish its sample complexity of $O(1/ε^3)$ for finding an $ε$-stationary point under Lipschitz continuous conditions of stochastic oracles, matching the lower bound for stochastic smooth non-convex optimization. Second, we present a randomized stochastic method for non-convex SBO with $m>1$ lower level problems (multi-task SBO) by processing a constant number of lower problems at each iteration, and establish its sample complexity no worse than $O(m/ε^3)$, which could be a better complexity than that of simply processing all $m$ lower problems at each iteration. Lastly, we establish even faster convergence results for gradient-dominant functions. To the best of our knowledge, this is the first work considering multi-task SBO and developing state-of-the-art sample complexity results.

연구 동기 및 목표

• 기존의 확률적 이중선형 최적화 알고리즘이 비볼록 확률적 최적화의 $O(1/\epsilon^3)$ 하한선을 충족하지 못하는 높은 샘플 복잡도 문제를 해결하기 위해.
• 각 반복에서 모든 $m$개의 하위 문제를 처리하는 기존 알고리즘의 한계를 극복하기 위해, $m$이 클 경우 비효율적이게 되는 문제를 해결하기 위해.
• 각 반복에서 하위 문제를 일정 수만 처리하면서도 최적 수렴 속도를 유지하는 랜덤화된 확률적 방법을 개발하기 위해.
• 리프시츠 연속 확률적 오라클 조건 하에서 단일작업 및 다중작업 비볼록 확률적 이중선형 최적화 문제에 대한 이론적 샘플 복잡도 한계를 설정하기 위해.
• 프레임워크를 기울기 지배 함수로 확장하여 일반 비볼록 경우보다 더 빠른 수렴 속도를 달성하기 위해.

제안 방법

• 하위 문제의 헤시안 및 야코비안 근사에서의 분산을 줄이기 위해 재귀적 기울기 추정기를 사용하는 단일작업 비볼록 SBO를 위한 확률적 분산 감소 방법(SVRB)을 도입한다.
• 각 반복에서 일정 수의 하위 문제를 샘플링함으로써 계산 비용을 줄이고 수렴성을 유지하는 다중작업 SBO를 위한 랜덤화된 확률적 알고리즘(RSVRB)을 제안한다.
• 하위 문제의 헤시안 및 야코비안 행렬을 추정하기 위해 재귀적 분산 감소 기법을 적용하여 안정성과 수렴성을 향상시킨다.
• 큰 미니배치 크기나 이중 루프 구조가 필요 없도록 단일 루프, 단일 시간 척도 업데이트 방식과 적응형 단계 크기를 사용한다.
• 하위 변수 업데이트 시 헤시안-벡터 곱을 효율적으로 계산하기 위해 공액 기울기 방법을 적용한다.
• 탐색과 계산 효율성의 균형을 이루기 위해 $m$개의 하위 문제에 대한 랜덤 샘플링 전략을 도입한다.

실험 결과

연구 질문

• RQ1 비볼록 문제에 대해 최적의 $O(1/\epsilon^3)$ 샘플 복잡도를 달성할 수 있는 확률적 이중선형 최적화 알고리즘이 존재할 수 있는가? 이는 표준 비볼록 확률적 최적화의 하한선과 일치하는가?
• RQ2 $m \gg 1$일지라도 각 반복에서 하위 문제를 일정 수만 처리하는 이중선형 알고리즘을 설계할 수 있는가? 이 경우 수렴 속도가 떨어지지 않는가?
• RQ3 다중작업 환경에서 제안된 방법의 샘플 복잡도는 하위 문제 수 $m$에 따라 어떻게 변화하는가?
• RQ4 일반적인 비볼록 경우보다 기울기 지배 함수에 대해 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ5 제안된 알고리즘이 대규모 하위 작업을 처리할 때 실용적으로도 확장 가능하고 효율적인가?

주요 결과

• 제안된 SVRB 방법은 단일작업 비볼록 SBO에서 $O(1/\epsilon^3)$의 샘플 복잡도를 달성하며, 비볼록 확률적 최적화의 알려진 하한선과 정확히 일치한다.
• 하위 문제 수가 $m$인 다중작업 SBO의 경우, RSVRB 방법은 $O(m/\epsilon^3)$의 샘플 복잡도를 달성하며, $m$이 클 경우 모든 $m$개 문제를 각 반복에서 처리하는 것보다 우수하다.
• 로지스틱 회귀 및 하이퍼파rameter 최적화 작업에서 STABLE, TTSA, BSA 등의 기존 기준보다 샘플 복잡도와 실행 시간 면에서 뛰어나다.
• UCI Adult 및 웹 페이지 분류 데이터셋에서의 실험 결과, RSVRB는 목적 함수 값과 실행 시간 면에서 STABLE 및 기타 기준보다 더 빠르게 수렴한다.
• 200개 또는 500개의 하위 문제를 포함하는 다중작업 하이퍼파rameter 최적화에서, RE-RSVRB는 수렴 속도와 안정성 면에서 기준보다 뚜렷이 뛰어나다.
• 하위 문제 수가 증가할수록 성능이 떨어지지 않고 유지되어, 대규모 환경에서의 확장성과 강건성을 입증한다.