[논문 리뷰] Navigating Scaling Laws: Compute Optimality in Adaptive Model Training

Sotiris Anagnostidis, Gregor Bachmann외 2명|arXiv (Cornell University)|2023. 11. 06.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 계산량 최적화 성능를 달성하기 위해 훈련 중에 모델 형상—특히 패치 크기와 너비—를 동적으로 조정하는 비전 트랜스포머를 위한 적응형 훈련 전략을 제안한다. 신경 스케일링 법칙을 기반으로 이러한 파rameter들을 스케줄링하여, 정적 모델 대비 50퍼센트 이상의 FLOPs 절감을 이끌어내며 정확도를 유지하거나 향상시킨다.

ABSTRACT

In recent years, the state-of-the-art in deep learning has been dominated by very large models that have been pre-trained on vast amounts of data. The paradigm is very simple: investing more computational resources (optimally) leads to better performance, and even predictably so; neural scaling laws have been derived that accurately forecast the performance of a network for a desired level of compute. This leads to the notion of a `compute-optimal' model, i.e. a model that allocates a given level of compute during training optimally to maximize performance. In this work, we extend the concept of optimality by allowing for an `adaptive' model, i.e. a model that can change its shape during training. By doing so, we can design adaptive models that optimally traverse between the underlying scaling laws and outpace their `static' counterparts, leading to a significant reduction in the required compute to reach a given target performance. We show that our approach generalizes across modalities and different shape parameters.

연구 동기 및 목표

• 고정된 아키텍처 형상으로 인해 계산 자원 활용도가 최적화되지 않는 정적 모델 훈련의 비효율성 문제를 해결하기 위해.
• 훈련 중에 모델 형상을 동적으로 적응시킴으로써 주어진 성능 목표에 대해 수렴 속도를 높이고 계산 비용을 줄일 수 있는지 조사하기 위해.
• 실험적 스케일링 법칙을 기반으로 비전 트랜스포머의 형상 파rameter(패치 크기 및 너비) 스케줄링을 체계적이고 확장 가능한 전략으로 개발하기 위해.
• 적응형 모델이 정적 모델보다 계산 효율성을 높이면서도 성능 목표를 유지하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 신경 스케일링 법칙을 사용하여 훈련 중 각 계산 수준에서 최적의 모델 구성(패치 크기 또는 너비)을 예측한다.
• 패치 크기 적응을 위해, 각 FLOP 증가에 따른 성능 향상 예측에 기반해 다양한 패치 크기로 전환되는 스케줄이 적용된다.
• 너비 적응을 위해, 초기 너비가 작은 모델(예: 192)이 더 큰 너비(예: 384, 768)로 확장되며, 원래 가중치를 유지하고 새로운 파라미터는 무작위로 초기화하는 단순한 확장 메커니즘이 사용된다.
• 확장 과정은 어텐션 가중치, MLP 가중치, 정규화 파라미터를 포함한 모든 레이어에 적용되어 트랜스포머 아키텍처와 호환성을 확보한다.
• 스케줄러는 다음 계산 증가에 대해 성능 향상이 가장 빠른 스케일링 법칙을 기반으로 다음 형상 파라미터(패치 크기 또는 너비)를 선택한다.
• 훈련 전반에 걸쳐 성능를 모니터링하며, 적응형 모델을 고정된 크기의 정적 모델과 비교하여 검증한다.

(a) Illustration of the effect of patch size on a given image.

실험 결과

연구 질문

• RQ1 훈련 중에 모델 형상(패치 크기 또는 너비)을 동적으로 적응시킴으로써 정적 모델 대비 더 빠른 수렴과 더 적은 FLOPs 소비를 이룰 수 있는가?
• RQ2 특히 정확도와 효율성 측면에서 동일한 계산 예산 하에 적응형 모델의 성능가 정적 모델과 비교해 어떻게 되는가?
• RQ3 신경 스케일링 법칙의 원칙을 얼마나 잘 활용하여 형상 파라미터 스케줄링을 통해 계산 최적화를 이룰 수 있는가?
• RQ4 형상 적응(예: 너비 확장 후) 동안 성능 저하가 발생할 경우, 이를 얼마나 빨리 회복할 수 있으며, 장기적으로도 최적의 성능을 유지하는가?
• RQ5 제안된 적응 전략은 깊이 또는 희소성과 같은 패치 크기 및 너비 이외의 다른 형상 파라미터로 일반화될 수 있는가?

주요 결과

• 비전 트랜스포머에서 패치 크기의 적응형 스케줄링은 목표 ImageNet-1k 오차율에 도달하기 위해 필요한 훈련 FLOPs를 50퍼센트 이상 감소시켜 정적 모델을 크게 능가한다.
• 계산량에 기반한 스케줄러에 의해 계산된 적응형 모델은 형상 전환 후 성능 저하를 신속히 회복하며, 예측된 스케일링 법칙과 일치하는 상태를 유지한다.
• 형상 너비 스케줄링 역시 계산 효율성을 향상시키지만, 패치 크기 적응보다는 약간 덜 두드러진 성과를 보인다.
• 이 방법은 각 훈련 단계에서 FLOP 당 성능 향상이 가장 큰 형상 구성(패치 크기 또는 너비)을 지속적으로 선택함으로써 계산 최적화를 달성한다.
• 기존 가중치를 유지하고 새로운 파라미터를 무작위로 초기화하는 단순한 확장 메커니즘이 성능 복구 및 향상에 충분하며, 더 복잡한 기능 보존 기법보다 뛰어난 성능을 보였다.
• 결과적으로 동적 적응이 다양한 스케일링 법칙을 최적의 순서로 탐색함으로써, 각 계산 수준에서 각 형상 구성의 최적 성능 특성을 유연하게 활용할 수 있음을 확인했다.

(b) ViT-B FLOPs.