[논문 리뷰] Training Kinetics in 15 Minutes: Large-scale Distributed Training on Videos

Ji Lin, Chuang Gan외 1명|arXiv (Cornell University)|2019. 10. 01.

Human Pose and Action Recognition참고 문헌 23인용 수 9

한 줄 요약

이 논문은 영상에서의 확장 가능한 고속도 분산 학습을 가능하게 하기 위해 시간 이동 모듈(Temporal Shift Module, TSM)을 사용하는 하드웨어 인지 영상 모델 설계를 제안한다. FLOPs를 최소화하고 입력 프레임 수를 줄이며 모델 크기를 축소함으로써, TSM는 1,536개 GPU에서 I3D 모델 대비 1.6배와 2.9배 빠른 학습 속도를 달성하며, Kinetics 학습을 14분 13초 만에 완료하고 상위-1 정확도 74.0%를 기록한다.

ABSTRACT

Deep video recognition is more computationally expensive than image recognition, especially on large-scale datasets like Kinetics [1]. Therefore, training scalability is essential to handle a large amount of videos. In this paper, we study the factors that impact the training scalability of video networks. We recognize three bottlenecks, including data loading (data movement from disk to GPU), communication (data movement over networking), and computation FLOPs. We propose three design guidelines to improve the scalability: (1) fewer FLOPs and hardware-friendly operator to increase the computation efficiency; (2) fewer input frames to reduce the data movement and increase the data loading efficiency; (3) smaller model size to reduce the networking traffic and increase the networking efficiency. With these guidelines, we designed a new operator Temporal Shift Module (TSM) that is efficient and scalable for distributed training. TSM model can achieve 1.8x higher throughput compared to previous I3D models. We scale up the training of the TSM model to 1,536 GPUs, with a mini-batch of 12,288 video clips/98,304 images, without losing the accuracy. With such hardware-aware model design, we are able to scale up the training on Summit supercomputer and reduce the training time on Kinetics dataset from 49 hours 55 minutes to 14 minutes 13 seconds, achieving a top-1 accuracy of 74.0%, which is 1.6x and 2.9x faster than previous 3D video models with higher accuracy. The code and more details can be found here: http://tsm-hanlab.mit.edu.

연구 동기 및 목표

• 높은 계산, I/O, 통신 요구량으로 인해 영상 인식 학습의 확장이 어려운 문제를 해결한다.
• 분산 영상 학습에서의 세 가지 핵심 병목 현상인 계산 FLOPs, 데이터 로딩 I/O, 통신 대역폭을 규명한다.
• 계산, 데이터 로딩, 네트워킹 효율성 전반에 걸쳐 확장성을 향상시키기 위한 하드웨어 인지 모델 설계 지침을 개발한다.
• 초고성능 컴퓨터에서 Kinetics와 같은 대규모 영상 모델의 엔드 투 엔드 학습을 수분 내로 가능하게 한다.
• 모델 아키텍처 선택이 정확도를 희생시키지 않고도 학습 시간을 극적으로 단축시킬 수 있음을 입증한다.

제안 방법

• 세 가지 설계 지침 제안: 하드웨어 우수한 연산자로 FLOPs 감소, I/O 감소를 위해 입력 프레임 수 최소화, 통신 오버헤드 감소를 위해 모델 크기 축소.
• 시간 이동 모듈(TSM) 도입: 2D CNN에 시간에 걸쳐 채널을 이동시킴으로써 시간적 모델링을 가능하게 하는 0-FLOP, 0-파라미터 연산자.
• 모델링을 단순화하기 위해 8개의 입력 프레임을 사용하는 직렬 백본 설계를 적용하여, 많은 프레임이 필요한 풀링 기반 설계 대비 I/O 부담을 줄인다.
• Summit 초고성능 컴퓨터에서 최대 1,536개 GPU와 12,288개 영상 클립(98,304장의 이미지)의 미니배치 크기를 사용해 동기식 SGD 분산 학습을 구현한다.
• 하드웨어 할당 한도로 인해 3,072개 및 6,144개 GPU에서의 학습을 시뮬레이션하기 위해 기울기 누적 기법을 적용하며, 정확도 평가를 유지한다.
• 3D 컨볼루션보다 효율이 떨어지는 대신 고도로 최적화된 2D 컨볼루션을 활용함으로써 학습 효율성을 향상시키고 하드웨어 활용도를 높인다.

실험 결과

연구 질문

• RQ1 계산, 데이터 로딩, 통신 병목 현상이 대규모 영상 학습의 확장성에 어떤 영향을 미치는가?
• RQ2 모델 아키텍처 설계가 영상 데이터셋에서 학습 처리량과 확장성에 크게 기여할 수 있는가?
• RQ3 FLOPs, 입력 프레임 수, 모델 크기의 감소가 분산 영상 학습에서의 효율성 향상에 어느 정도 기여하는가?
• RQ4 1,536개 GPU에서 Kinetics 데이터셋을 사용해 15분 이내에 학습을 완료하면서도 높은 정확도를 유지할 수 있는가?
• RQ5 TSM 모듈은 2D CNN 아키텍처에서 0-FLOP 및 0-파라미터로 효과적인 시간적 모델링을 어떻게 가능하게 하는가?

주요 결과

• 1,536개 GPU에서 TSM 기반 학습은 Kinetics 학습을 14분 13초 만에 완료하여, 기존 49시간 55분에서 15분 이내로 단축시켰다.
• TSM 모델은 Kinetics에서 상위-1 정확도 74.0%를 달성했으며, 이는 상당히 더 빠른 학습 속도에도 불구하고 이전의 I3D 모델과 동등하거나 이를 초월한다.
• TSM 학습은 1,536개 GPU에서 80%의 스케일링 효율을 달성하여 하드웨어 자원 전반에 걸쳐 우수한 선형 확장성을 보였다.
• 모델은 12,288개 영상 클립(98,304장의 이미지)의 배치 크기까지 정확도를 유지하며 성능 저하 없이 작동한다.
• 동일한 하드웨어에서 TSM은 I3D 3×3×3 및 I3D 3×1×1 모델 대비 각각 1.6배와 2.9배 높은 학습 처리량을 기록했다.
• 기울기 누적 시뮬레이션 결과, 3,072개 및 6,144개 GPU에서 정확도 저하가 발생하여 대규모에서 안정적인 학습에 대한 실질적 상한선을 제시한다.