[논문 리뷰] Meta-learning with negative learning rates

Alberto Bernacchia|arXiv (Cornell University)|2021. 02. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 11인용 수 4

한 줄 요약

이 논문은 메타학습의 내부 루프에 대해 음수 학습률을 도입하며, 특히 MAML에 대해 이론적으로 최적의 성능가능성이 음수 학습률에서 달성됨을 보여준다. 과다 매개변수화된 선형 및 비선형 모델에서 이를 입증한다. 랜덤 행렬 이론과 정확한 해를 통해 음수 학습률이 양수 또는 영일 때보다 우월함을 증명하며, 학습률이 0일 때 내부 루프 최적화가 불필요하거나 비최적임이라는 일반적인 가정에 도전한다.

ABSTRACT

Deep learning models require a large amount of data to perform well. When data is scarce for a target task, we can transfer the knowledge gained by training on similar tasks to quickly learn the target. A successful approach is meta-learning, or "learning to learn" a distribution of tasks, where "learning" is represented by an outer loop, and "to learn" by an inner loop of gradient descent. However, a number of recent empirical studies argue that the inner loop is unnecessary and more simple models work equally well or even better. We study the performance of MAML as a function of the learning rate of the inner loop, where zero learning rate implies that there is no inner loop. Using random matrix theory and exact solutions of linear models, we calculate an algebraic expression for the test loss of MAML applied to mixed linear regression and nonlinear regression with overparameterized models. Surprisingly, while the optimal learning rate for adaptation is positive, we find that the optimal learning rate for training is always negative, a setting that has never been considered before. Therefore, not only does the performance increase by decreasing the learning rate to zero, as suggested by recent work, but it can be increased even further by decreasing the learning rate to negative values. These results help clarify under what circumstances meta-learning performs best.

연구 동기 및 목표

• 내부 루프 최적화가 메타학습에서 필요한지 여부에 대한 지속적인 논의를 해결하기 위해 내부 루프 학습률의 역할을 분석한다.
• 특히 과다 매개변수화되고 비선형인 모델에서 MAML의 내부 루프 학습률을 다양하게 조절했을 때의 이론적 영향을 조사한다.
• 이전에 탐색되지 않은 음수 학습률이 0 또는 양수 학습률보다 더 나은 일반화 성능을 낼 수 있는지 확인한다.
• 신경 탄성 커널 프레임워크를 사용해 선형 모델에서의 이론적 분석을 비선형 모델으로 확장한다.

제안 방법

• 랜덤 행렬 이론을 사용해 혼합 선형 회귀에서 MAML의 평균 테스트 손실에 대한 정확한 대수적 표현을 유도한다.
• 넓은 신경망을 매개변수에 대한 선형 함수로 근사하는 데 신경 탄성 커널 프레임워크를 적용하여 비선형 설정의 이론적 분석을 가능하게 한다.
• 대규모 인구 근사법(큰 p, nt)을 사용해 데이터 행렬과 공분산 구조를 포함한 추적 항목의 고차원 기대값을 계산한다.
• 테일러 전개와 주요 항 근사법(O(ξ⁻³/²))을 사용해 고차원 극한에서 복잡한 추적 표현을 단순화한다.
• 내부 루프 학습률 αt에 대한 테스트 손실의 닫힌 형식 표현을 유도하며, 가중치 분산, 노이즈, 데이터 공분산 기여도를 포함한다.
• 선형 및 비선형 회귀 작업에 대한 광범위한 실험을 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 일반화 성능을 고려할 때 MAML의 내부 루프 학습률의 최적 값은 무엇인가?
• RQ2 최근의 실험적 연구들이 제기한 linemapping(내부 루프 제거, 즉 학습률을 0으로 설정)이 최고의 성능을 낼 수 있는가?
• RQ3 내부 루프에서 음수 학습률이 양수 또는 0 학습률보다 더 나은 테스트 성능을 낼 수 있는가?
• RQ4 넓은 신경망을 갖는 비선형 모델에서도 음수 학습률의 우월성이 유지되는가?
• RQ5 선형 모델에서의 이론적 예측은 비선형이고 과다 매개변수화된 설정으로 어떻게 일반화되는가?

주요 결과

• 과다 매개변수화된 혼합 선형 회귀에서 메타학습을 위한 최적의 내부 루프 학습률은 항상 음수이며, 이는 어떤 양수나 0 학습률보다 낮은 테스트 손실을 초래한다.
• 과소 매개변수화된 모델에서는 최적 학습률의 절대값이 작을 경우 음수 학습률이 여전히 최적이지만, 결과가 덜 보편적으로 보장된다.
• 이론적 분석에 따르면 음수 학습률은 표준 경사 하강법의 직관을 위반하지만, 메타 최적화 과정을 안정화시켜 일반화 성능을 향상시킨다.
• 실험적 검증을 통해 음수 학습률이 선형 및 비선형 회귀 작업에서 0 또는 양수 학습률보다 훨씬 낮은 테스트 손실을 낼 수 있음을 확인했다.
• 넓은 신경망을 갖는 비선형 모델에서는 초보적인 실험 결과 음수 학습률이 여전히 성능 향상을 이끌 수 있음을 시사하지만, 완전한 이론적 증명은 아직 남아 있다.
• 유도된 테스트 손실 표현은 고차원 극한에서 정확하며 내부 루프 학습률에 명시적으로 의존하므로 하이퍼파rameter의 정밀 최적화가 가능하다.