[논문 리뷰] Where Should I Spend My FLOPS? Efficiency Evaluations of Visual Pre-training Methods

Skanda Koppula, Yazhe Li외 6명|arXiv (Cornell University)|2022. 09. 30.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 고정된 FLOP 예산 하에서 시각적 자기지도 학습 사전 훈련 방법의 계산 효율성을 평가하며, CLIP, DINO, SimCLR, BYOL, MAE, 지도 학습을 포함한 6가지 방법을 다섯 개의 데이터셋과 두 가지 ViT 백본 크기로 비교한다. 연구 결과, CLIP와 MAE가 가장 우수한 정확도-효율성 균형을 보이며, JFT-300M나 COCO와 같은 정제되지 않은 데이터셋은 높은 FLOP 사용에도 불구하고 성능이 크게 열 劣함을 보여, 자기지도 학습이 노이즈가 많은 데이터에 잘 확장된다는 가정에 도전한다.

ABSTRACT

Self-supervised methods have achieved remarkable success in transfer learning, often achieving the same or better accuracy than supervised pre-training. Most prior work has done so by increasing pre-training computation by adding complex data augmentation, multiple views, or lengthy training schedules. In this work, we investigate a related, but orthogonal question: given a fixed FLOP budget, what are the best datasets, models, and (self-)supervised training methods for obtaining high accuracy on representative visual tasks? Given the availability of large datasets, this setting is often more relevant for both academic and industry labs alike. We examine five large-scale datasets (JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, and COCO) and six pre-training methods (CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised). In a like-for-like fashion, we characterize their FLOP and CO$_2$ footprints, relative to their accuracy when transferred to a canonical image segmentation task. Our analysis reveals strong disparities in the computational efficiency of pre-training methods and their dependence on dataset quality. In particular, our results call into question the commonly-held assumption that self-supervised methods inherently scale to large, uncurated data. We therefore advocate for (1) paying closer attention to dataset curation and (2) reporting of accuracies in context of the total computational cost.

연구 동기 및 목표

• 고정된 FLOP 예산 하에서 가장 계산 효율적인 시각적 사전 훈련 방법을 규명하기 위해.
• 데이터셋 품질과 정제가 자기지도 학습의 효율성과 정확도에 미치는 영향을 평가하기 위해.
• 대비, 자기정복, 마스킹 오토인코더 방법의 FLOP 정규화된 정확도 측면에서 성능을 비교하기 위해.
• 모델 성능을 정확도뿐 아니라 총 계산 비용의 맥락에서 보고할 것을 주장하기 위해.

제안 방법

• JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, COCO와 같은 다섯 개의 대규모 데이터셋에서 CLIP, DINO, SimCLR, BYOL, MAE, 지도 학습 분류를 포함한 6가지 방법을 사전 훈련한다.
• ViT-B와 ViT-L 백본을 사용하여 모델 크기의 영향을 FLOP 효율성에 대해 평가한다.
• 동일한 하드웨어에서 각 그래디언트 스텝의 FLOP 비용을 프로파일링하여 동일한 조건에서의 FLOP 정규화 비교를 가능하게 한다.
• 모든 모델을 표준 ViT 기반의 의미 세그멘테이션 헤드로 전이하여 COCO-2017 및 COCO-2017 객체 검출 벤치마크에서 평가한다.
• MAE의 마스킹 비율을 최적화하여 최저의 후행 정확도와 효율성을 확보한다 (예: COCO에서는 65%, 다른 데이터셋에서는 75%).
• 모든 방법, 데이터셋, 모델 크기 간의 공정한 비교를 위해 FLOPs 및 CO2 배출량 기준으로 결과를 정규화하여 보고한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 모델 크기에서, 어떤 자기지도 학습 사전 훈련 방법이 FLOP 당 가장 높은 정확도를 달성하는가?
• RQ2 데이터셋 정제 수준(예: ImageNet-1K 대 비정제된 JFT-300M)이 자기지도 학습의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ3 FLOP 효율적인 방법은 고정된 계산 예산 내에서 더 큰 백본을 훈련하는 데 얼마나 기여하는가?
• RQ4 자기지도 학습 방법의 성능은 데이터셋 크기에 따라 안정적으로 향상되는가, 아니면 고품질의 정제가 더 중요한가?
• RQ5 CLIP와 MAE의 효율성과 정확도는 동일한 FLOP 제약 조건 하에서 지도 학습 사전 훈련과 비교해 어떻게 되는가?

주요 결과

• CLIP는 대규모 데이터셋에서 FLOP 정규화된 정확도가 가장 뛰어나며, 세그멘테이션과 객체 검출 모두에서 지도 학습 사전 훈련을 뛰어넘거나 동등하게 성능을 내는다.
• MAE는 뛰어난 절대 성능을 기록하며, 특히 ImageNet-1K와 COCO에서 가장 효율적인 방법 중 하나로 평가되며, 세그멘테이션에서 44.8 mIoU, 검출에서 44.2 mAP를 기록한다.
• DINO, SimCLR, BYOL과 같은 자기지도 학습 방법들은 계산 효율성이 크게 열 劣하여 유사한 성능을 내기 위해 최대 10배 이상의 FLOPs가 추가로 필요하다.
• 정제되지 않은 데이터셋인 JFT-300M나 COCO에서의 사전 훈련은 고정된 FLOP 사용에도 불구하고 정제된 ImageNet-1K/21K보다 훨씬 열 劣한 성능을 보인다.
• 마스킹 오토인코더(MAE)의 디코더가 계산 시간의 대부분을 차지하며, 특히 높은 마스킹 비율일 경우 전방-역전파 프로세스의 최대 65%가 디코딩에 소요된다.
• MAE에서 '작은' 1층 디코더를 사용하면 75% 마스킹 비율에서 월드클럭 시간을 95% 감소시켜 효율성을 크게 향상시키며 정확도 손실 없이 성능을 유지한다.