[논문 리뷰] EvoGrad: Efficient Gradient-Based Meta-Learning and Hyperparameter Optimization

Ondrej Bohdal, Yongxin Yang외 1명|arXiv (Cornell University)|2021. 06. 19.

Machine Learning and Data Classification인용 수 10

한 줄 요약

EvoGrad는 두 번째 차수 도함수와 장기적인 계산 그래프를 피하는 방식으로 기울기 기반 메타학습 및 하이퍼파라미터 최적화를 위한 새로운 효율적인 방법을 제안한다. 이는 내부 루프에서의 가상의 내부 진화적 업데이트를 사용해 하이퍼기울기를 추정함으로써 가능하다. 이를 통해 상당한 속도 향상과 메모리 절감을 이룰 수 있으며, 제한된 하드웨어에서 ResNet34와 같은 더 큰 모델로의 메타학습 확장이 가능해졌고, 표준 두 번째 차수 방법과 경쟁하거나 이를 초월하는 성능을 보였다.

ABSTRACT

Gradient-based meta-learning and hyperparameter optimization have seen significant progress recently, enabling practical end-to-end training of neural networks together with many hyperparameters. Nevertheless, existing approaches are relatively expensive as they need to compute second-order derivatives and store a longer computational graph. This cost prevents scaling them to larger network architectures. We present EvoGrad, a new approach to meta-learning that draws upon evolutionary techniques to more efficiently compute hypergradients. EvoGrad estimates hypergradient with respect to hyperparameters without calculating second-order gradients, or storing a longer computational graph, leading to significant improvements in efficiency. We evaluate EvoGrad on three substantial recent meta-learning applications, namely cross-domain few-shot learning with feature-wise transformations, noisy label learning with Meta-Weight-Net and low-resource cross-lingual learning with meta representation transformation. The results show that EvoGrad significantly improves efficiency and enables scaling meta-learning to bigger architectures such as from ResNet10 to ResNet34.

연구 동기 및 목표

• 두 번째 차수 도함수와 장기적인 계산 그래프에 의존하는 기존 기울기 기반 메타학습 방법의 높은 계산 및 메모리 비용을 해결하기 위해.
• 표준 GPU 하드웨어에서 제한된 메모리로도 더 큰 신경망 아키텍처(예: ResNet34)로의 메타학습 확장을 가능하게 하기 위해.
• 전체 학습 과정을 거쳐 역방향 미분이 필요한 것을 피하고, 첫 번째 차수 기울기만을 사용해 하이퍼기울기를 효율적으로 계산하는 방법을 개발하기 위해.
• 다양한 메타학습 응용 분야(예: 소수의 샘플 학습, 노이즈 있는 레이블 보정, 다국어 간 학습)에서 이 방법의 효과성을 입증하기 위해.
• 간단한 구현과 실용적 효율성을 동시에 확보하는 일반 목적의 경량 메타 최적화기 제공하기 위해.

제안 방법

• EvoGrad는 내부 루프에서 기초 모델 파라미터에 대한 가상의 진화적 업데이트를 시뮬레이션하여 하이퍼기울기를 추정한다. 이를 통해 두 번째 차수 도함수를 계산할 필요가 없다.
• 이 방법은 하이퍼파라미터 업데이트에 첫 번째 차수 기울기만을 사용하므로, 장기적인 계산 그래프를 저장할 필요가 없어지며, 메모리 오버헤드가 감소한다.
• 실제 내부 루프 모델 업데이트는 표준 경사 하강법을 통해 수행되며, 하이퍼기울기 추정은 분리되어 있고, 확률적 진화적 근사 방법을 사용해 계산된다.
• 이 방법은 진화적 업데이트가 기울기 기반일 필요가 없기 때문에, 하이퍼기울기 계산이 여전히 첫 번째 차수이자 효율적으로 유지된다.
• 이 방법은 일반적이며, 특성별 변환, Meta-Weight-Net, MetaXL과 같은 다양한 메타학습 프레임워크에 적용 가능하다.
• 알고리즘은 병렬화 가능하도록 설계되었으며, 진화 단계에서의 후보 모델들이 장치 간 쉽게 분산되어 인구 수를 확장할 수 있다.

실험 결과

연구 질문

• RQ1 기울기 기반 메타학습 방법이 두 번째 차수 도함수를 피하면서도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 제한된 GPU 메모리(예: 12GB)에서 제안된 방법이 ResNet34와 같은 더 큰 모델로의 메타학습을 확장할 수 있는가?
• RQ3 하이퍼기울기의 진화적 근사가 실질적으로 안정적이고 정확한 하이퍼파라미터 업데이트를 이끌 수 있는가?
• RQ4 다양한 모델 크기에서 표준 두 번째 차수 방법($T_1-T_2$)과 비교해 EvoGrad의 계산 및 메모리 비용은 어떻게 되는가?
• RQ5 EvoGrad는 컴퓨터 비전 외의 다양한 메타학습 응용 분야, 예를 들어 자원이 제한된 다국어 NLP 작업에 효과적으로 적용될 수 있는가?

주요 결과

• EvoGrad는 12GB의 GPU 메모리만으로도 ResNet34에서 메타학습 모델을 학습시킬 수 있었고, 표준 $T_1-T_2$ 접근 방식은 메모리 제약으로 실패했다.
• Meta-Weight-Net 벤치마크에서 EvoGrad는 학습 시간과 메모리 사용을 크게 줄였으며, 모델 크가 커질수록 효율성 격차가 커졌다.
• 교차 도메인 소수의 샘플 학습을 위한 LFT 모델에서, EvoGrad는 $T_1-T_2$와 유사한 정확도를 달성했지만, 시간과 메모리 비용은 상당히 감소했다.
• 저자원 다국어 간 학습을 위한 MetaXL 모델에서, EvoGrad는 모든 목표 언어에서 $T_1-T_2$ 기준선을 동등하거나 초월했으며, 평균 F1 스코어는 71.98%를 기록했다.
• 하이퍼파라미터 수가 300에서 30,000으로 증가하더라도 EvoGrad의 메모리 및 시간 비용은 거의 일정하게 유지되었는데, 이는 주로 모델 파라미터 비용이 지배적이기 때문이다.
• 모든 평가된 작업에서 이 방법은 일관된 효율성 향상을 보였으며, 특히 더 큰 모델에서 가장 큰 성과를 보여, 그 확장성의 타당성을 확인했다.