[논문 리뷰] Efficient Optimization of Loops and Limits with Randomized Telescoping Sums

Alex Beatson, Ryan P. Adams|arXiv (Cornell University)|2019. 05. 16.

Model Reduction and Neural Networks인용 수 10

한 줄 요약

이 논문은 반복 구조나 극한을 포함한 최적화 문제에 대해 저비용이고 비편향된 기울기 추정을 가능하게 하기 위해 목표 함수를 연속 합으로 표현하고 항의 가중 조합을 샘플링하는 랜덤화된 텔레스코프(RT) 기울기 추정기를 제안한다. 주요 기여는 루프 길이나 근사 정확도에 관계없이 이론적으로 수렴 보장을 제공하며, 계산 단위당 기대 향상도를 극대화함으로써 최적화 속도를 높이는 적응형 RT 추정기를 개발한 것이다.

ABSTRACT

We consider optimization problems in which the objective requires an inner loop with many steps or is the limit of a sequence of increasingly costly approximations. Meta-learning, training recurrent neural networks, and optimization of the solutions to differential equations are all examples of optimization problems with this character. In such problems, it can be expensive to compute the objective function value and its gradient, but truncating the loop or using less accurate approximations can induce biases that damage the overall solution. We propose randomized telescope (RT) gradient estimators, which represent the objective as the sum of a telescoping series and sample linear combinations of terms to provide cheap unbiased gradient estimates. We identify conditions under which RT estimators achieve optimization convergence rates independent of the length of the loop or the required accuracy of the approximation. We also derive a method for tuning RT estimators online to maximize a lower bound on the expected decrease in loss per unit of computation. We evaluate our adaptive RT estimators on a range of applications including meta-optimization of learning rates, variational inference of ODE parameters, and training an LSTM to model long sequences.

연구 동기 및 목표

• 메타학습이나 미분방정식 해법과 같은 분야에서 비용이 많이 드는 반복적 목표 함수를 잘라내는 데서 발생하는 계산 편향을 해결하기 위해.
• 수열의 극한으로 정의된 목표 함수에 대해 비편향적이면서도 계산적으로 효율적인 기울기 추정기를 개발하기 위해.
• 최적화 수렴 속도가 루프 길이나 필요로 하는 근사 정확도에 영향을 받지 않도록 보장하기 위해.
• 계산 단위당 기대 향상도를 극대화하는 적응형 RT 추정기를 설계하기 위해.

제안 방법

• 중간 값 간의 후행 차분의 연속 합으로 목표 함수 또는 그 기울기를 표현하기.
• 비편향성을 유지하면서 기대 계산량을 줄이기 위해 랜덤 분포를 사용해 연속 합의 항들의 선형 조합을 샘플링하기.
• RT 추정기가 수렴 시간 H에 관계없이 유한한 분산과 최적 수렴 속도를 확보할 수 있는 조건을 유도하기.
• 기울기 공분산을 추정함으로써 계산 단위당 기대 손실 감소의 하한을 극대화하는 적응형 튜닝 방법을 제안하기.
• RT-SS(단일 샘플) 및 RT-RR(러시안 룰렛) 두 가지 변형을 구현하고, 샘플링 가중치를 온라인으로 튜닝하기.
• 샘플링 분포의 효율적 온라인 적응을 가능하게 하기 위해 대각 공분산 가정을 도입하여 튜닝을 단순화하기.

실험 결과

연구 질문

• RQ1 랜덤화된 텔레스코프 추정기는 반복 수열의 극한으로 정의된 목표 함수에 대해 비편향 기울기 추정을 달성할 수 있는가?
• RQ2 RT 추정기가 루프 또는 근사 수렴 수준에 관계없이 유한한 분산과 최적 수렴 속도를 유지할 수 있는 조건는 무엇인가?
• RQ3 적응형 RT 추정기는 계산 단위당 기대 향상도를 극대화하기 위해 온라인으로 튜닝될 수 있는가?
• RQ4 수렴 속도와 해의 품질 측면에서 RT 추정기는 고정된 잘라내기 및 비잘라낸 기준 대비 어떻게 비교되는가?
• RQ5 대규모 RNN 학습과 같은 고차원 설정에서는 RT 추정기의 성능이 떨어지는가?

주요 결과

• MNIST에서 학습률의 메타최적화에서 RT-SS 추정기는 고정된 잘라내기 방법보다 더 빠른 수렴을 달성했으며, 초반 진전이 빠르고 최종 손실도 낮았다.
• 비잘라낸 추정기는 RT 추정기보다 약간 더 낮은 손실을 기록했지만, 계산 비용이 크게 증가하여 정확성과 효율성 사이의 상충 관계를 확인했다.
• RT-RR 추정기는 수렴이 불량했으며, 이는 최적화 안정성에 있어 분산 제어의 중요성을 시사한다.
• enwik8 LSTM 작업에서 RT 추정기는 초반에 학습을 가속화했지만, 고비용의 튜닝으로 인해 점차 속도가 떨어졌으며, 이는 고차원 설정에서의 한계를 보여주었다.
• 적응형 RT-SS 추정기는 일반적으로 기준 대비 뛰어난 성능을 보였고, 필요에 따라 비잘라낸 추정기로의 복귀도 가능하여 강건성을 입증했다.