[논문 리뷰] Will Bilevel Optimizers Benefit from Loops

Kaiyi Ji, Mingrui Liu외 2명|arXiv (Cornell University)|2022. 05. 27.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 내부 솔루션과 헤시안 역행렬 근사에 대해 루프를 사용하는지 여부에 관계없이 AID-BiO 및 ITD-BiO 비선형 최적화기의 통합 수렴 분석을 제공한다. AID-BiO에서는 루프가 기울기 복잡도를 감소시켜 전체 효율성을 향상시키는 반면, ITD-BiO에서는 수렴 오차가 사라지기 위해 루프가 필수적임을 보여준다. 루프 없이 구현한 경우 비소멸적인 오차가 발생하며, 이는 이론과 실험을 통해 검증되었다.

ABSTRACT

Bilevel optimization has arisen as a powerful tool for solving a variety of machine learning problems. Two current popular bilevel optimizers AID-BiO and ITD-BiO naturally involve solving one or two sub-problems, and consequently, whether we solve these problems with loops (that take many iterations) or without loops (that take only a few iterations) can significantly affect the overall computational efficiency. Existing studies in the literature cover only some of those implementation choices, and the complexity bounds available are not refined enough to enable rigorous comparison among different implementations. In this paper, we first establish unified convergence analysis for both AID-BiO and ITD-BiO that are applicable to all implementation choices of loops. We then specialize our results to characterize the computational complexity for all implementations, which enable an explicit comparison among them. Our result indicates that for AID-BiO, the loop for estimating the optimal point of the inner function is beneficial for overall efficiency, although it causes higher complexity for each update step, and the loop for approximating the outer-level Hessian-inverse-vector product reduces the gradient complexity. For ITD-BiO, the two loops always coexist, and our convergence upper and lower bounds show that such loops are necessary to guarantee a vanishing convergence error, whereas the no-loop scheme suffers from an unavoidable non-vanishing convergence error. Our numerical experiments further corroborate our theoretical results.

연구 동기 및 목표

• 모든 루프 구현 방식(내부 솔루션 및 헤시안 역행렬 근사에 대한 루프 유무 포함)에 대해 AID-BiO와 ITD-BiO의 통합 수렴 분석을 제공하는 것.
• 모든 구현 방식의 계산 복잡도를 규명하고 철저한 비교를 가능하게 하는 것.
• 내부 수준 솔루션 추정 및 헤시안 역행렬 근사에 루프를 사용할 경우 전체 효율성이 향상되는지 여부를 규명하는 것.
• ITD-BiO에서 수렴 오차가 사라지기 위해 루프가 필수적임을 보여주는 이론적 경계를 수립하는 것.
• 이론적 발견을 수치 실험을 통해 검증하는 것.

제안 방법

• 다양한 루프 구성(N-루프, Q-루프, 루프 없음, N-Q-루프)에 따라 AID-BiO와 ITD-BiO의 통합 수렴 경계를 유도한다.
• 공정한 비교를 위해 모든 구현 방식에서 선형 시스템을 해결하기 위해 기울기 강하법을 사용한다.
• 이론적 분석을 통해 기울기 및 행렬-벡터 곱 복잡도의 상한과 하한을 도출한다.
• ITD-BiO의 하한을 증명하기 위해 특정 손실 함수 예제를 구성하여, 루프 없이 구현한 경우 비소멸적인 오차가 존재함을 보여준다.
• 텔레스코프 기법과 행렬 노름 분석을 활용해 수렴 속도를 유도한다.
• 비선형 최적화 작업에 대한 수치 실험을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 AID-BiO에서 내부 수준 솔루션 추정 단계에 루프를 사용할 경우 계산 효율성이 향상되는가?
• RQ2 AID-BiO에서 헤시안 역행렬-벡터 곱 근사를 위한 루프는 유익한가?
• RQ3 ITD-BiO에서 수렴 오차를 소멸시키기 위해 루프가 필수적인가?
• RQ4 AID-BiO와 ITD-BiO의 각 구현 방식의 계산 복잡도는 얼마인가?
• RQ5 ITD-BiO에 대해 루프 없이 구현한 경우 정류점으로 수렴할 수 있는가?

주요 결과

• AID-BiO에서는 내부 수준 솔루션 추정에 루프(N-루프)를 사용할 경우, 단계당 비용이 더 높지만 전체 기울기 복잡도가 감소한다.
• AID-BiO에서는 헤시안 역행렬 근사를 위한 Q-루프가 기울기 복잡도를 감소시켜 효율성을 향상시킨다.
• ITD-BiO에서는 루프 없이 구현한 경우 피할 수 없는 비소멸적인 수렴 오차가 발생하므로, 루프가 필수적이다.
• 이론적 상한과 하한은 ITD-BiO에서 루프가 수렴 오차를 소멸시키기 위해 필수적임을 확인한다.
• 수치 실험 결과는 이론적 발견을 지지하며, AID-BiO와 ITD-BiO 모두에서 루프 사용이 더 우수한 수렴 성능을 보임을 보여준다.
• N-Q-루프 AID-BiO 변형의 계산 복잡도는 기울기 및 행렬-벡터 곱 모두에서 O~(κ⁴ε⁻¹)이며, 루프 없이 구현한 변형보다 뛰어난 성능을 보인다.