[논문 리뷰] Convergence Properties of Stochastic Hypergradients

Riccardo Grazzi, Massimiliano Pontil외 1명|arXiv (Cornell University)|2020. 11. 13.

Advanced Topology and Set Theory참고 문헌 19인용 수 6

한 줄 요약

이 논문은 근사 은닉 미분(AID)을 통한 이중 최적화에서 초기계수를 계산하기 위해 확률적 비정확 강하(SID) 방법을 제안한다. 이는 결정론적 해법기들을 확률적 해법기들로 대체한다. 초기계수 추정기의 평균 제곱 오차 경계를 제시하며, 이는 사용된 확률적 해법기의 선택과 무관하다. 수축 조건 가정 하에 수렴성을 증명하고, 특히 점차 감소하는 단계 크기에서 실용적으로 향상된 정확도를 보인다.

ABSTRACT

Bilevel optimization problems are receiving increasing attention in machine learning as they provide a natural framework for hyperparameter optimization and meta-learning. A key step to tackle these problems is the efficient computation of the gradient of the upper-level objective (hypergradient). In this work, we study stochastic approximation schemes for the hypergradient, which are important when the lower-level problem is empirical risk minimization on a large dataset. The method that we propose is a stochastic variant of the approximate implicit differentiation approach in (Pedregosa, 2016). We provide bounds for the mean square error of the hypergradient approximation, under the assumption that the lower-level problem is accessible only through a stochastic mapping which is a contraction in expectation. In particular, our main bound is agnostic to the choice of the two stochastic solvers employed by the procedure. We provide numerical experiments to support our theoretical analysis and to show the advantage of using stochastic hypergradients in practice.

연구 동기 및 목표

• 이중 최적화에서 초기계수 계산을 위한 근사 은닉 미분(AID)의 확률적 변종을 개발하는 것.
• 하위 문제와 선형 시스템을 해결하는 데 사용된 특정 확률적 해법기와 무관한 초기계수 추정기의 평균 제곱 오차 경계를 제공하는 것.
• 수축 사상이 적용된 이중 문제를 다룰 수 있도록 확률적 고정점 반복의 수렴 분석을 확장하는 것.
• 특히 점차 감소하는 단계 크기에서 실용적으로 확률적 초기계수의 효과성을 경험적으로 검증하는 것.
• 비용이 많이 드는 결정론적 해법기를 확률적 대체 방법으로 대체함으로써 확장 가능한 하이퍼파ram터 최적화와 메타학습을 가능하게 하는 것.

제안 방법

• 하위 문제와 AID에서 발생하는 선형 시스템에 대해 비편향 확률적 근사값을 사용하는 확률적 비정확 강하(SID) 알고리즘을 제안한다.
• 하위 문제의 고정점 방정식을 풀기 위한 하나의 확률적 해법기와, 초기계수 계산에서 선형 시스템을 풀기 위한 다른 하나의 확률적 해법기를 사용한다.
• 하위 문제의 사상 Φ(w,λ)에 대해 수축 사상 가정을 사용하여 확률적 고정점 반복의 수렴을 보장한다.
• 사용된 특정 해법기와 무관하게, 수축률과 확률적 근사값의 분산에 의존하는 초기계수 추정기의 평균 제곱 오차 경계를 유도한다.
• 확률적 고정점 반복에 대한 일반적인 수렴 분석을 적용하여, 강凸성과 수축 기반 문제에 대한 SGD 수렴 이론을 확장한다.
• Stoch dec 변종에서는 수렴을 보장하기 위해 점차 감소하는 단계 크기를 사용하여 진짜 초기계수로 수렴하게 되며, 일정한 단계 크기의 경우 기대값에서 수렴하지 않을 수 있다.

실험 결과

연구 질문

• RQ1 근사 은닉 미분(AID)의 확률적 변종이 이중 최적화에서 진짜 초기계수로 수렴할 수 있는가?
• RQ2 하위 문제와 선형 시스템을 모두 확률적으로 풀었을 때, 초기계수 추정기의 평균 제곱 오차 경계는 무엇인가?
• RQ3 확률적 해법기의 선택(예: 일정 vs. 감소하는 단계 크기)이 초기계수 추정기의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 수축 사상이 적용된 이중 설정에서 확률적 고정점 반복의 수렴 분석을 어떻게 확장할 수 있는가?
• RQ5 AID에 확률적 해법기를 사용할 경우, 대규모 환경에서 결정론적 AID에 비해 실용적 성능이 향상되는가?

주요 결과

• 제안된 SID 방법은 하위 문제와 선형 시스템을 해결하는 데 사용된 확률적 해법기의 선택과 무관한 초기계수 추정기의 평균 제곱 오차 경계를 제공한다.
• SID의 Stoch dec 변종은 기대값에서 진짜 초기계수로 O(1/(γ_λ + t))의 속도로 수렴한다. 여기서 t는 반복 횟수이다.
• Stoch const 변종은 진짜 초기계수로 기대값에서 수렴하지 않을 수 있다. 이는 해의 이웃 영역으로 수렴할 수는 있지만 반드시 그것으로 수렴하지는 않기 때문이다.
• 수치 실험 결과, 특히 감소하는 단계 크기를 사용할 경우 SID는 결정론적 AID 방법보다 초기계수 근사 정확도에서 뛰어난 성능을 보였다.
• 수렴 분석은 수축 조건 하에서 확률적 고정점 반복에 대한 SGD 프레임워크를 확장하여 이론적 근거를 제공한다.
• 비용이 많이 드는 결정론적 해법기를 확률적 근사값으로 대체함으로써 이론적 보장을 유지하면서도 확장 가능한 하이퍼파ram터 최적화를 가능하게 한다.