[논문 리뷰] Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design

Ibrahim Alabdulmohsin, Xiaohua Zhai외 2명|arXiv (Cornell University)|2023. 05. 22.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 깊이, 너비, MLP 차원을 함께 최적화하여 유도된 계산 최적화된 비전 트랜스포머 아키텍처인 SoViT를 소개한다. 이는 ViT-g/14와 유사한 성능을 낼 수 있지만 추론 비용을 절반으로 줄여 구현한다. 모델 크기 외에 아키텍처 형태(깊이, 너비, MLP 크기)를 고려한 척도 법칙을 적용함으로써 SoViT-400m/14는 ImageNet-1K에서 90.3%의 정확도를 달성하며, 동일한 계산 자원을 사용할 경우 더 큰 모델보다도 제로샷 및 다운스트림 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Scaling laws have been recently employed to derive compute-optimal model size (number of parameters) for a given compute duration. We advance and refine such methods to infer compute-optimal model shapes, such as width and depth, and successfully implement this in vision transformers. Our shape-optimized vision transformer, SoViT, achieves results competitive with models that exceed twice its size, despite being pre-trained with an equivalent amount of compute. For example, SoViT-400m/14 achieves 90.3% fine-tuning accuracy on ILSRCV2012, surpassing the much larger ViT-g/14 and approaching ViT-G/14 under identical settings, with also less than half the inference cost. We conduct a thorough evaluation across multiple tasks, such as image classification, captioning, VQA and zero-shot transfer, demonstrating the effectiveness of our model across a broad range of domains and identifying limitations. Overall, our findings challenge the prevailing approach of blindly scaling up vision models and pave a path for a more informed scaling.

연구 동기 및 목표

• 모델을 단순히 크기만 키우는 데서 비효율적인 문제를 해결하기 위해, 계산 효율성을 위해 파arameter 수뿐만 아니라 아키텍처 형태(깊이, 너비, MLP 크기)까지 최적화하는 것.
• 모델 형태의 계산 최적화를 위해 기계적 탐색보다 훨씬 적은 실험 수로도 최적의 형태를 도출할 수 있는 방법을 개발하는 것.
• 일반적으로 더 큰 모델이 항상 더 나은 성능을 낸다는 전제를 도전하기 위해, 계산 예산이 동일할 경우 형태 최적화된 작은 모델이 더 큰 모델을 능가하거나 동등하게 성능을 내는 것을 보여주는 것.
• 다양한 비전 작업에서 비전 트랜스포머의 다양한 아키텍처 차원이 어떻게 척도 법칙에 따라 변화하는지에 대한 경험적 및 이론적 통찰을 제공하는 것.

제안 방법

• 저자는 초기 실험 수를 최소화하여 깊이, 너비, MLP 차원을 함께 최적화하는 척도 법칙을 유도한다.
• 형태 차원에 대한 체계적인 그리드 스윕을 통해 계산 최적의 경계를 식별하며, 훈련 실행 횟수를 최소화한다.
• 모든 후보 모델을 완전히 훈련하지 않고도 성능을 예측하기 위해 거듭 제곱 법칙 외삽을 사용하여 효율적인 탐색을 가능하게 한다.
• 이 방법은 SoViT-400m/14(4억 파라미터 모델)를 훈련하여 동일한 계산 예산에서 ViT-g/14(18억 파라미터)의 성능을 재현함으로써 검증된다.
• 일반화 능력을 평가하기 위해 이미지 분류, 캡션 생성, VQA, 제로샷 전이, 퍼낸틱 세그멘테이션 등 다양한 작업에서 모델을 평가한다.
• 플렉시피케이션을 적용하여 패치 크기 변화에 대한 저항력을 테스트하며, SoViT-400m/14가 원래 설정 외부에서도 강력한 성능을 유지함을 확인한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머에서 깊이, 너비, MLP 차원 등의 모델 형태를 함께 최적화하여 계산 최적의 성능을 달성할 수 있는가?
• RQ2 동일한 계산 예산으로 훈련된 경우, 형태 최적화된 더 작은 비전 트랜스포머가 더 큰 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ3 이미지 분류, 캡션 생성, VQA 등의 다양한 비전 작업에서 형태 차원의 척도 법칙은 어떻게 다를 수 있는가?
• RQ4 플렉시피케이션을 통해 입력 해상도나 패치 크기 변화에 대해 최적의 모델 형태가 얼마나 견고한가?
• RQ5 퍼낸틱 세그멘테이션과 같은 고밀도 예측 작업에서는 계산 최적의 형태에 어떤 한계가 존재하는가?

주요 결과

• SoViT-400m/14는 ImageNet-2012에서 90.3%의 테스트 정확도를 달성하며, ViT-g/14를 초월하고 ViT-G/14에 근접한 성능을 보였다. 이는 동일한 계산 예산에서 이루어진 것이다.
• 제로샷 전이 테스트에서 SoViT-400m/14는 LiT 벤치마크에서 82.2%의 정확도를 기록했으며, ViT-L/16를 능가하고 ViT-g/14와 동등한 성능을 보였다.
• 다중 작업 디코딩 테스트에서 SoViT-400m/14는 CIDEr(67.7 vs. 68.8), VQAv2(56.0% vs. 58.0%), GQA(52.9% vs. 52.5%) 정확도에서 ViT-g/14와 동등하거나 뛰어난 성능을 보였다.
• 퍼낸틱 세그멘테이션 작업에서 SoViT-400m/14는 43.7 PQ를 기록했으며, ViT-g/14(44.8 PQ)보다 略로 낮아 고밀도 예측 작업에서 형태 최적화의 잠재적 한계를 보여주었다.
• SoViT-400m/14의 플렉시피케이션은 다양한 패치 크기에서 강력한 성능 유지 능력을 확인했으며, 원래 설정 외부에서도 견고함을 입증했다.
• 최적의 척도 법칙을 도출하기 위해 단지 115회의 실험으로도 충분했으며, 이는 이전 연구에서 단일 차원 최적화에 400회 이상의 실험을 요구했던 것과 비교해 크게 줄어든 수치이다.