[논문 리뷰] Automated Progressive Learning for Efficient Training of Vision Transformers

Changlin Li, Bohan Zhuang외 4명|arXiv (Cornell University)|2022. 03. 28.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 비전 트랜스포머(ViT) 학습을 동적으로 및 효율적으로 모델 용량을 늘리며 가속화하는 자동 점진 학습 프레임워크인 AutoProg을 제안한다. 성능 향상을 위해 유연한 슈퍼넷과 파라미터 재사용을 통한 한 번의 추정을 활용하는 일괄 성능 추정 기반으로, 성능 향상 최적화를 위한 하위 네트워크 아키텍처 탐색 문제로 성장 스케줄 최적화를 재정의함으로써, DeiT 및 VOLO 모델에서 정확도 저하 없이 ImageNet에서 최대 85.1%의 학습 속도 향상을 달성한다.

ABSTRACT

Recent advances in vision Transformers (ViTs) have come with a voracious appetite for computing power, high-lighting the urgent need to develop efficient training methods for ViTs. Progressive learning, a training scheme where the model capacity grows progressively during training, has started showing its ability in efficient training. In this paper, we take a practical step towards efficient training of ViTs by customizing and automating progressive learning. First, we develop a strong manual baseline for progressive learning of ViTs, by introducing momentum growth (MoGrow) to bridge the gap brought by model growth. Then, we propose automated progressive learning (AutoProg), an efficient training scheme that aims to achieve lossless acceleration by automatically increasing the training overload on-the-fly; this is achieved by adaptively deciding whether, where and how much should the model grow during progressive learning. Specifically, we first relax the optimization of the growth schedule to sub-network architecture optimization problem, then propose one-shot estimation of the sub-network performance via an elastic supernet. The searching overhead is reduced to minimal by recycling the parameters of the supernet. Extensive experiments of efficient training on ImageNet with two representative ViT models, DeiT and VOLO, demonstrate that AutoProg can accelerate ViTs training by up to 85.1% with no performance drop. Code: https://github.com/changlin31/AutoProg

연구 동기 및 목표

• 모델 크기와 데이터에 따라 비례적으로 증가하는 높은 계산 비용과 환경 영향을 지닌 대규모 비전 트랜스포머(ViTs) 학습의 문제를 해결하기 위해.
• 특히 초기 학습 단계에서 모든 파라미터의 역할을 재고함으로써 학습 효율성을 향상시키기 위해.
• 수동적인 하이퍼파라미터 튜닝을 피할 수 있는 일반화 가능한 자동 점진 학습 기법을 개발하기 위해.
• 실시간 성능 피드백에 기반해 동적으로 모델 성장을 적응적으로 조정함으로써 정확도 손실 없이 학습 가속화를 달성하기 위해.
• 파라미터 재사용과 일괄 슈퍼넷 추정을 통해 점진 학습의 탐색 오버헤드를 줄이기 위해.

제안 방법

• 모델 용량 확장을 위한 성능 격차를 메우기 위해 효과적인 모멘텀 업데이트 기반의 성장 연산자인 모멘텀 성장(MoGrow)을 제안한다.
• 성장 스케줄 최적화 문제를 하위 네트워크 아키텍처 탐색 문제로 재정의함으로써 자동적이고 적응적인 성장 결정을 가능하게 한다.
• 하나의 추정을 통해 하위 네트워크 성능을 빠르게 평가할 수 있도록 하는 탄성 슈퍼넷을 도입함으로써 탐색 비용을 크게 감소시킨다.
• 학습 단계 간에 슈퍼넷의 파라미터를 재사용함으로써 계산 오버헤드를 최소화하고 효율성을 유지한다.
• 모델 크기에 따라 증강 강도와 드롭아웃 확률을 조절하는 적응형 정규화(AdaReg)를 적용하여 안정성과 성능을 향상시킨다.
• 두 단계 학습 프로세스를 사용한다: 먼저 하위 네트워크를 학습한 후, 최적화된 성장 파라미터를 사용해 전체 용량으로 확장한다.

실험 결과

연구 질문

• RQ1 다양한 ViT 아키텍처에서 성능 저하 없이 일관된 학습 가속화를 달성하기 위해 점진 학습을 자동화할 수 있는가?
• RQ2 비용이 많이 드는 재학습이나 하이퍼파라미터 튜닝 없이 성장 스케줄을 효율적으로 최적화할 수 있는가?
• RQ3 일괄 슈퍼넷 추정과 파라미터 재사용이 점진 학습의 탐색 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 모멘텀 기반 가중치 초기화(MoGrow)는 표준 방법인 보간법이나 무작위 초기화보다 성능 향상에 뛰어나게 작용하는가?
• RQ5 적응형 정규화는 ViT의 점진 학습에서 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• AutoProg는 정확도 저하 없이 VOLO-D1에서 ImageNet의 상위-1 정확도를 유지하면서 최대 85.1%의 학습 속도 향상을 달성하여 손실 없는 가속화를 입증한다.
• 제안된 MoGrow 성장 연산자는 기준 방법 대비 최종 정확도를 0.2% 향상시키며, 슈퍼넷 성능을 2.73% 향상시킨다.
• 가중치 재사용은 VOLO-D1에서 속도 향상을 12.3% 향상시켜 총 65.6%의 속도 향상을 달성했으며, 정확도 저하 없이 성능을 유지한다.
• VOLO-D1에서는 적응형 정규화가 필수적이며, 이가 없을 경우 1.2%의 정확도 저하가 발생하지만, DeiT-S에서는 효과가 없으며, 이 경우 수렴하지 못한다.
• DeiT-S에서는 AdaReg 없이 40.7%의 속도 향상을 달성했고, VOLO-D1에서는 AdaReg를 사용해 85.1%의 속도 향상을 기록하여 다양한 모델 간 뛰어난 일반화 성능을 입증한다.
• 제거 실험 결과, MoGrow, 가중치 재사용, AdaReg는 AutoProg의 최적 성능을 위해 모두 필수적인 구성 요소임을 확인한다.