[논문 리뷰] Budgeted Training: Rethinking Deep Neural Network Training Under Resource Constraints

Mengtian Li, Ersin Yumer외 1명|arXiv (Cornell University)|2019. 05. 12.

Advanced Neural Network Applications참고 문헌 72인용 수 18

한 줄 요약

이 논문은 고정된 자원 제약 조건, 특히 제한된 학습 반복 횟수 하에서 딥 네ural 네트워크를 최적화하기 위한 공식적 프레임워크인 예산 학습(budgeted training)을 제안한다. 학습률 스케줄은 주어진 예산을 고려해 명시적으로 조정되어야 하며, 학습의 끝에서 학습률을 선형 감소시켜 0으로 만들면 다양한 벤치마크에서 우수한 성능을 내며, 표준 및 적응형 스케줄보다 자원 제약 내에서 더 나은 수렴을 달성한다.

ABSTRACT

In most practical settings and theoretical analyses, one assumes that a model can be trained until convergence. However, the growing complexity of machine learning datasets and models may violate such assumptions. Indeed, current approaches for hyper-parameter tuning and neural architecture search tend to be limited by practical resource constraints. Therefore, we introduce a formal setting for studying training under the non-asymptotic, resource-constrained regime, i.e., budgeted training. We analyze the following problem: "given a dataset, algorithm, and fixed resource budget, what is the best achievable performance?" We focus on the number of optimization iterations as the representative resource. Under such a setting, we show that it is critical to adjust the learning rate schedule according to the given budget. Among budget-aware learning schedules, we find simple linear decay to be both robust and high-performing. We support our claim through extensive experiments with state-of-the-art models on ImageNet (image classification), Kinetics (video classification), MS COCO (object detection and instance segmentation), and Cityscapes (semantic segmentation). We also analyze our results and find that the key to a good schedule is budgeted convergence, a phenomenon whereby the gradient vanishes at the end of each allowed budget. We also revisit existing approaches for fast convergence and show that budget-aware learning schedules readily outperform such approaches under (the practical but under-explored) budgeted training setting.

연구 동기 및 목표

• 최적화 반복 횟수가 고정된 비점근적, 자원 제약 조건 하에서의 학습을 공식화하기 위해.
• 무한한 컴퓨팅 자원을 가정하는 기존 방법의 격차를 메우기 위해, 주어진 예산 내에서 성능을 최대화하는 최적화 목표로 재정의하기 위해.
• 학습이 제한된 반복 횟수로 제한될 때 학습률 스케줄이 수렴과 모델 성능에 미치는 영향을 조사하기 위해.
• 실제 자원 제약 조건에서 예산 인지 학습률 스케줄이 표준 및 적응형 스케줄보다 뚜렷이 뛰어난 성능을 내는지 보여주기 위해.

제안 방법

• 고정된 학습 반복 횟수 하에서 모델 성능을 최대화하는 문제로 예산 학습을 수학적으로 공식화한다.
• 학습 예산의 끝에서 기울기 크기가 감소하도록 학습률 스케줄을 설계해야 한다는 제안을 하며, 이를 '예산 수렴(budgeted convergence)'이라고 부른다.
• 학습 예산의 끝에서 학습률을 선형 감소시켜 0으로 만드는 전략을 사용하여 최적 성능를 달성하는 단순하면서도 효과적인 방법을 제시한다.
• 분류, 검출, 세그멘테이션 작업을 모두 포함한 최신 모델을 사용하여 ImageNet, Kinetics, MS COCO, Cityscapes에서 광범위한 실험을 수행한다.
• 학습률과 전체 기울기 크기 간의 상관관계를 분석하여, 낮은 학습률일수록 학습의 끝에서 더 작은 기울기를 유도함을 보여준다.
• 예측 성능 평가를 위해 최종 체크포인트에서의 검증 정확도를 사용하여 예산 학습 환경에서 불필요한 평가 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 수렴에 도달하기까지 실행하는 것이 아니라 고정된 반복 횟수로 제한된 학습일 때 성능는 어떻게 변하는가?
• RQ2 자원 제약 조건 하에서 최적 성능를 달성하기 위해 학습률 스케줄이 수행하는 역할은 무엇인가?
• RQ3 선형 감소와 같은 단순하고 부드럽게 감소하는 학습률 스케줄이 더 복잡하거나 적응형 스케줄보다 예산 학습에서 뛰어난 성능를 낼 수 있는가?
• RQ4 AMSGrad 및 SGDR과 같은 적응형 최적화기들은 초기에 빠른 수렴을 보이지만, 왜 예산 학습 하에서는 강력한 성능를 내지 못하는가?
• RQ5 학습률 감소와 학습 끝에서 기울기 크기 감소 사이에 통계적 또는 메커니즘적 연관성이 존재하는가?

주요 결과

• 모든 평가된 데이터셋과 작업에서 예산 끝에서 학습률을 선형 감소시킨 전략이 표준 및 적응형 스케줄보다 일관되게 뛰어난 성능를 보였다.
• 선형 또는 다항 감소를 사용할 경우 최고 성능를 보이는 모델은 일반적으로 최종 반복 시점에서 발견되며, 이는 검증을 최종 단계에서만 수행함으로써 효율성을 높일 수 있음을 의미한다.
• ImageNet에서 ResNet-18을 사용한 실험에서 선형 감소 전략은 전체 배치 학습의 98.6% 성능를 달성하면서도 예산의 10%만을 소비한 반면, 일정 학습률 전략은 81.2%에 그쳤다.
• AMSGrad 및 SGDR은 초기에 급격한 하강을 보였지만, 예산 끝에서 전체 기울기 노름이 사라지지 않아 예산 수렴에 실패했다.
• 감소하는 학습률과 감소하는 전체 기울기 크기 사이에 강한 상관관계가 관찰되어, 학습률 스케줄이 최적화 단계를 제어한다는 것을 시사한다.
• 예산 인지 스케줄은 중간 단계의 모델 체크포인트 및 검증이 필요한 양을 줄여주며, Kinetics에서의 영상 분류와 같이 계산이 비싼 작업에서 상당한 컴퓨팅 자원 절감을 가능하게 한다.