[논문 리뷰] Super-efficiency of automatic differentiation for functions defined as a minimum

Pierre Ablin, Gabriel Peyré외 1명|arXiv (Cornell University)|2020. 02. 10.

Stochastic Gradient Optimization Techniques인용 수 17

한 줄 요약

이 논문은 최소값으로 정의된 함수에 대한 세 가지 기울기 추정기들을 분석하며, 반복적 해법기를 통해 역전파하는 자동 미분(AD)이 초효율성을 보임을 보여준다: AD의 오차는 해석적 추정기의 오차 제곱에 비례한다. AD 추정기는 해법기의 수렴 속도가 선형 이하일 경우 더 빠르게 수렴하지만, 계산 비용이 더 높아, 해법기가 선형으로 수렴할 경우 해석적 추정기가 더 바람직하다.

ABSTRACT

In min-min optimization or max-min optimization, one has to compute the gradient of a function defined as a minimum. In most cases, the minimum has no closed-form, and an approximation is obtained via an iterative algorithm. There are two usual ways of estimating the gradient of the function: using either an analytic formula obtained by assuming exactness of the approximation, or automatic differentiation through the algorithm. In this paper, we study the asymptotic error made by these estimators as a function of the optimization error. We find that the error of the automatic estimator is close to the square of the error of the analytic estimator, reflecting a super-efficiency phenomenon. The convergence of the automatic estimator greatly depends on the convergence of the Jacobian of the algorithm. We analyze it for gradient descent and stochastic gradient descent and derive convergence rates for the estimators in these cases. Our analysis is backed by numerical experiments on toy problems and on Wasserstein barycenter computation. Finally, we discuss the computational complexity of these estimators and give practical guidelines to chose between them.

연구 동기 및 목표

• 최소값으로 정의된 함수에 대한 세 기울기 추정기인 해석적, 자동 미분(AD), 암시적 추정기의 점근적 수렴 속도를 비교하기.
• 반복적 해법기의 수렴이 AD 추정기의 오차에 미치는 영향을 분석하며, 특히 반복값의 야코비안의 역할을 규명하기.
• 강凸 설정에서 경사하강법 및 확률적 경사하강법에 대해 AD 추정기의 이론적 수렴 속도를 제공하기.
• 워샤프스타인 바리센터 계산과 같은 실용적 상황에서 추정 정확도와 계산 비용 간의 상호 교환 관계 평가하기.
• 해법기 수렴 속도와 계산 예산을 기반으로 추정기 간 선택에 대한 실용적 지침 제공하기.

제안 방법

• 해석적(근사 최소값자 삽입), 자동 미분(해법기로 역전파), 암시적(암시함수정리 사용) 세 가지 기울기 추정기 제안.
• 일차 근사 전개를 통해 점근적 오차 한계 유도; AD 추정기의 오차는 o(|zt − z*|)이며, 해석적 추정기의 오차는 O(|zt − z*|)임을 보임.
• Gilbert(1992)의 도구를 활용해 ∂zt/∂x의 수렴 분석; 강凸 케이스에서 경사하강법 및 확률적 경사하강법에 대한 경계 설정.
• 워샤프스타인 바리센터 문제에 이론적 프레임워크 적용; 싱크호른 알고리즘을 사용해 미러 강하 최적화를 통해 추정기 성능 비교.
• 테이터 문제와 실제 응용에 대한 수치 실험 수행; 수렴 속도 및 계산 비용의 상호 교환 관계 검증.
• 계산 복잡도 비교 유도; AD는 해석적 추정기 대비 약 두 배의 비용이 들며, 각 반복마다 더 높은 계산 비용을 수반함.

실험 결과

연구 질문

• RQ1 반복적 해법기를 통해 최소값을 근사할 경우, 해석적, 자동 미분, 암시적 기울기 추정기의 점근적 오차는 어떻게 비교되는가?
• RQ2 자기 미분 추정기의 오차는 해법기 반복값의 수렴 속도와 그 야코비안에 어떻게 의존하는가?
• RQ3 경사하강법과 확률적 경사하강법 간 기울기 추정기의 수렴 속도는 어떻게 다를까?
• RQ4 실용적 최적화 환경에서, 자동 미분의 초효율성은 증가된 계산 비용을 감당할 수 있을까?
• RQ5 워샤프스타인 바리센터 계산과 같은 비트레이비 문제에서 이론적 수렴 속도는 경험적으로 관찰될 수 있는가?

주요 결과

• 자기 미분 추정기는 초효율성을 보이며, 그 오차는 해석적 추정기보다 점근적으로 작다: o(|zt − z*|) 대비 O(|zt − z*|).
• 암시적 추정기의 오차는 O(|zt − z*|²)로 스케일링되어 점근적으로 가장 정확하지만, 각 단계에서 선형 시스템을 풀어야 하므로 계산 비용이 더 높다.
• 강凸 케이스에서 경사하강법의 경우, 야코비안 ∂zt/∂x는 선형 수렴을 보이며, 이에 따라 AD 추정기의 오차는 O(|zt − z*|)가 된다.
• 일정한 단계 크기 ρ를 사용한 확률적 경사하강법의 경우, 해석적 추정기의 노이즈 수준은 √ρ 비례하지만, AD 및 암시적 추정기는 ρ 비례하여 수렴함을 확인하여 AD의 더 빠른 수렴을 뒷받침한다.
• 단계 크기 ρt ∝ t⁻⁰·⁸로 감소할 경우, AD 및 암시적 추정기는 O(t⁻⁰·⁸)로 수렴하고, 해석적 추정기는 O(√t⁻⁰·⁸)로 수렴함을 확인하여 이론적 수렴 속도를 검증한다.
• 워샤프스타인 바리센터 실험에서 AD는 내부 반복마다 더 빠른 오차 감소를 보였지만, 해석적 추정기는 반복당 계산 비용이 낮아 전체적으로 더 효율적임을 확인했다.