[논문 리뷰] A Multigrid Method for Efficiently Training Video Models

Chao-Yuan Wu, Ross Girshick외 3명|arXiv (Cornell University)|2019. 12. 02.

Advanced Neural Network Applications참고 문헌 30인용 수 5

한 줄 요약

이 논문은 격자 스케줄을 사용하여 공간-시간 해상도에 따라 동적으로 미니배치 크기를 변화시켜 영상 모델 학습을 가속화하는 다중그리드 학습 방법을 제안한다. ResNet-50 SlowFast를 사용한 Kinetics-400에서 4.5배의 속도 향상을 달성하면서 정확도를 0.8%p 향상시켰으며, 하이퍼파rameter 조정 없이 다양한 모델, 데이터셋, 하드웨어 환경에서 기준선 학습을 능가한다.

ABSTRACT

Training competitive deep video models is an order of magnitude slower than training their counterpart image models. Slow training causes long research cycles, which hinders progress in video understanding research. Following standard practice for training image models, video model training assumes a fixed mini-batch shape: a specific number of clips, frames, and spatial size. However, what is the optimal shape? High resolution models perform well, but train slowly. Low resolution models train faster, but they are inaccurate. Inspired by multigrid methods in numerical optimization, we propose to use variable mini-batch shapes with different spatial-temporal resolutions that are varied according to a schedule. The different shapes arise from resampling the training data on multiple sampling grids. Training is accelerated by scaling up the mini-batch size and learning rate when shrinking the other dimensions. We empirically demonstrate a general and robust grid schedule that yields a significant out-of-the-box training speedup without a loss in accuracy for different models (I3D, non-local, SlowFast), datasets (Kinetics, Something-Something, Charades), and training settings (with and without pre-training, 128 GPUs or 1 GPU). As an illustrative example, the proposed multigrid method trains a ResNet-50 SlowFast network 4.5x faster (wall-clock time, same hardware) while also improving accuracy (+0.8% absolute) on Kinetics-400 compared to the baseline training method. Code is available online.

연구 동기 및 목표

• 깊은 영상 모델의 학습 시간이 너무 길어 연구 진전과 확장성에 악영향을 미치는 문제를 해결하기 위해.
• 고정된 미니배치 크기에서 유발되는 속도와 정확도 간의 상충 관계(예: 정확도를 위해 고해상도, 속도를 위해 저해상도)를 극복하기 위해.
• 모델 성능을 희생시키지 않고도 학습 속도를 가속화할 수 있는 단순하고 일반화 가능한 학습 전략을 개발하기 위해.

제안 방법

• 학습 전반에 걸쳐 공간적·시간적 해상도를 변화시켜 가변적인 미니배치 크기를 사용한다. 이를 위해 다중 샘플링 격자에서 재샘플링을 수행한다.
• 시작 단계에서는 굵은(작은 T×H×W) 해상도와 큰 미니배치 크기(B)를 사용하고, 학습이 진행됨에 따라 점차 더 섬세한(큰 T×H×W) 해상도와 더 작은 B로 점진적으로 전환하는 격자 스케줄을 적용한다.
• 3D CNN에서의 가중치 공유를 활용하여 다중 스케일 간의 일반화를 가능하게 하며, 수치 최적화 분야의 다중그리드 방법과 유사한 방식으로 작동한다.
• 표준 학습률 스케줄과 하이퍼파rameter를 유지하며, 추가 조정이나 모델 수정 없이 적용 가능하다.
• 데이터 로더를 수정하여 다양한 격자에서 클립을 재샘플링함으로써, 초기에는 굵은 격자에서 효율적으로 학습하고, 후반에는 더 섬세한 격자에서 학습을 수행할 수 있도록 한다.
• 스텝식 및 코즈인 학습률 스케줄 모두 지원하며, 단일 GPU 및 분산(128-GPU) 학습 환경 모두에서 작동한다.

실험 결과

연구 질문

• RQ1 학습 중 입력 해상도와 미니배치 크기를 변화시킴으로써 정확도를 희생시키지 않고 영상 모델의 학습 속도를 크게 향상시킬 수 있는가?
• RQ2 거칠은 해상도에서 시작해 점차 세밀해지는 격자 스케줄 전략이 고정 해상도 학습에 비해 수렴 속도와 최종 정확도를 향상시키는가?
• RQ3 다양한 모델(예: I3D, SlowFast, Non-local), 데이터셋(Kinetics, Something-Something, Charades), 하드웨어 구성에서 다중그리드 학습 방법이 안정적으로 작동하는가?
• RQ4 하이퍼파rameter 조정이나 아키텍처 변경 없이도 이 방법을 적용할 수 있으며, 다양한 환경에서 성능을 유지하는가?
• RQ5 장주기 설계(다중주기 대비 단일주기)의 선택이 성능 및 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 다중그리드 방법은 Kinetics-400에서 ResNet-50 SlowFast 네트워크 학습에 대해 벽시계 시간 기준 4.5배의 속도 향상을 달성하면서 상위-1 정확도를 0.8%p 향상시켰다.
• 더 깊은 R101-SlowFast에서는 4.4배의 속도 향상과 기준선 대비 0.5%p의 정확도 향상을 기록했다.
• 다중주기 장주기 설계가 단일주기 설계를 능가했으며, 4.5배의 속도 향상과 76.4%의 상위-1 정확도를 달성했고, 반면 단일주기 버전은 5.2배의 속도 향상이 있었지만 정확도는 74.4%에 머물렀다.
• 코즈인 학습률 스케줄을 사용할 경우에도 4.2–5.2배의 속도 향상과 기준선과 유사한 정확도를 확보하여 학습률 스케줄 변화에 대한 강건성을 입증했다.
• 3-크롭 추론과 같은 테스트 시점 설정에서, 다중그리드로 학습된 모델은 256² 크롭에서 상위-1 정확도 78.1%를 기록하여 기준선(77.2%)을 뛰어넘었으며, 학습 속도는 5.5배 빨라졌다.
• 이 방법은 데이터셋 간 일반화 성능이 뛰어나, 재학습이나 조정 없이 Also-Something V2와 Charades에서도 일관된 속도 향상과 정확도 향상을 기록했다.