[논문 리뷰] Guarantees for Tuning the Step Size using a Learning-to-Learn Approach

Xiang Wang, Shuai Yuan외 2명|arXiv (Cornell University)|2020. 06. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 6

한 줄 요약

이 논문은 메타기울기 하강을 사용한 경사 하강법에서 단계 크기 학습을 위한 이론적 보장을 제공한다. 단순한 메타목표함수는 메타기울기 폭주 또는 소멸을 유도하지만, 로그 변환된 목표함수를 사용하면 다항식적으로 유계인 기울기가 보장되며, 백프로파게이션은 여전히 수치적 문제를 겪는다. 핵심적으로, 데이터가 제한적이거나 노이즈가 많은 경우 일반화를 보장하기 위해 메타목표함수를 별도의 검증 세트에서 학습하는 것(학습-검증 방식)이 필수적임을 증명한다. 이는 신경망 기반 최적화기에서 경험적으로도 검증되었다.

ABSTRACT

Choosing the right parameters for optimization algorithms is often the key to their success in practice. Solving this problem using a learning-to-learn approach -- using meta-gradient descent on a meta-objective based on the trajectory that the optimizer generates -- was recently shown to be effective. However, the meta-optimization problem is difficult. In particular, the meta-gradient can often explode/vanish, and the learned optimizer may not have good generalization performance if the meta-objective is not chosen carefully. In this paper we give meta-optimization guarantees for the learning-to-learn approach on a simple problem of tuning the step size for quadratic loss. Our results show that the naïve objective suffers from meta-gradient explosion/vanishing problem. Although there is a way to design the meta-objective so that the meta-gradient remains polynomially bounded, computing the meta-gradient directly using backpropagation leads to numerical issues. We also characterize when it is necessary to compute the meta-objective on a separate validation set to ensure the generalization performance of the learned optimizer. Finally, we verify our results empirically and show that a similar phenomenon appears even for more complicated learned optimizers parametrized by neural networks.

연구 동기 및 목표

• 학습-학습 접근법을 사용해 경사 하강법의 단계 크기 조정을 위한 메타기울기 하강의 안정성과 수렴성을 분석하는 것.
• 간단한 이차 함수 설정에서도 메타기울기가 폭주하거나 소멸하는 이유를 규명하는 것.
• 학습된 최적화기의 일반화 성능을 보장하기 위해 메타목표함수를 별도의 검증 세트에서 계산해야 하는 조건을 규명하는 것.
• 신경망 파arameterization을 가진 더 복잡한 학습된 최적화기에서 이론적 결과를 경험적으로 검증하는 것.

제안 방법

• 내부 최적화기(경사 하강법)의 궤적을 기반으로 한 메타목표함수를 최소화하는 메타최적화 문제를 수식화한다. 이때 손실 함수는 이차 함수이다.
• 표준 손실 대비 로그 손실을 사용한 다양한 메타목표함수 선택에 따른 메타기울기 행동을 분석하여, 오직 로그 손실만이 다항식적으로 유계인 기울기를 보장함을 보여준다.
• 메타단계 크기 $1/\sqrt{k}$를 사용할 경우, 로그 손실 목표함수를 사용한 메타기울기 하강이 최적의 단계 크기로 수렴함을 증명한다.
• 다항식적으로 유계이지만, 백프로파게이션은 지수적으로 큰/작은 값의 비율을 계산함으로써 수치적 불안정성을 야기함을 보여준다.
• 최소 제곱 회귀 설정에서 두 가지 메타목표함수 전략을 비교한다: '학습-학습'(학습 세트 사용)과 '학습-검증'(별도의 검증 세트 사용).
• MNIST에서 훈련된 다층퍼셉트론 기반 최적화기에서 경험적으로 결과를 검증하여, 다양한 데이터 크기와 노이즈 수준에서 학습-학습과 학습-검증 설정을 비교한다.

실험 결과

연구 질문

• RQ1 표준 손실을 메타목표함수로 사용할 경우, 단계 크기 조정을 위한 메타기울기가 폭주하거나 소멸하는가?
• RQ2 메타목표함수의 변환(예: 로그 손실)을 통해 메타기울기를 안정화하고 수렴을 보장할 수 있는가?
• RQ3 다항식적으로 유계임에도 불구하고, 표준 백프로파게이션은 왜 수치적으로 안정적인 로그 손실 메타기울기를 올바르게 구현하지 못하는가?
• RQ4 과도한 피팅을 방지하고 일반화 성능을 확보하기 위해 별도의 검증 세트를 사용해야 하는 조건은 무엇인가?
• RQ5 간단한 이차 설정에서의 이론적 통찰은 신경망 파arameterization을 가진 더 복잡한 학습된 최적화기로 확장 가능한가?

주요 결과

• 표준 손실 목표함수를 사용할 경우, 이차 단계 크기 조정 문제에서 메타기울기가 폭주하거나 소멸하여 최적화가 불안정해진다.
• 최종 손실의 로그를 메타목표함수로 사용하면 메타기울기가 다항식적으로 유계로 유지되어 수렴이 가능해진다.
• 다항식적으로 유계이지만, 직접적인 백프로파게이션은 지수적으로 큰/작은 값의 비율 계산으로 인해 수치적 불안정성이 발생한다.
• 데이터가 제한적이거나 노이즈가 많을 경우, 특히 표본 수가 차원 수의 일정 비율($n = d/2$)을 차지할 때, 학습-검증 방식이 학습-학습보다 유의미하게 뛰어난 성능을 보인다.
• 표본 수가 많아질 경우, 학습-학습 방식도 이론적 오차 한계 $d\sigma^2/n$에 근접한 near-optimal 성능을 달성할 수 있다.
• MNIST에서 신경망 기반 최적화기로 수행한 경험적 결과는 학습-검증이 학습-학습보다 더 잘 일반화됨을 확인하며, 특히 레이블 노이즈나 소규모 데이터 환경에서 뚜렷한 우수성을 보였다.