[论文解读] A Multigrid Method for Efficiently Training Video Models

Chao-Yuan Wu, Ross Girshick+3 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Neural Network Applications参考文献 30被引用 5

一句话总结

本文提出一种多网格训练方法，通过在时空分辨率上使用网格调度动态调整小批量形状，从而加速视频模型训练。该方法在Kinetics-400数据集上使用ResNet-50 SlowFast模型实现了4.5倍的加速，同时将准确率提升了0.8个百分点绝对值，且在无需超参数调优的情况下，优于多种模型、数据集和硬件配置下的基线训练方法。

ABSTRACT

Training competitive deep video models is an order of magnitude slower than training their counterpart image models. Slow training causes long research cycles, which hinders progress in video understanding research. Following standard practice for training image models, video model training assumes a fixed mini-batch shape: a specific number of clips, frames, and spatial size. However, what is the optimal shape? High resolution models perform well, but train slowly. Low resolution models train faster, but they are inaccurate. Inspired by multigrid methods in numerical optimization, we propose to use variable mini-batch shapes with different spatial-temporal resolutions that are varied according to a schedule. The different shapes arise from resampling the training data on multiple sampling grids. Training is accelerated by scaling up the mini-batch size and learning rate when shrinking the other dimensions. We empirically demonstrate a general and robust grid schedule that yields a significant out-of-the-box training speedup without a loss in accuracy for different models (I3D, non-local, SlowFast), datasets (Kinetics, Something-Something, Charades), and training settings (with and without pre-training, 128 GPUs or 1 GPU). As an illustrative example, the proposed multigrid method trains a ResNet-50 SlowFast network 4.5x faster (wall-clock time, same hardware) while also improving accuracy (+0.8% absolute) on Kinetics-400 compared to the baseline training method. Code is available online.

研究动机与目标

• 为解决深度视频模型训练时间过长的问题，该问题阻碍了研究进展和可扩展性。
• 克服固定小批量形状带来的训练速度与准确率之间的权衡（例如，高分辨率用于准确率，低分辨率用于速度）。
• 开发一种简单、可泛化的训练策略，可在不牺牲模型性能的前提下加速训练。

提出的方法

• 该方法通过在多个采样网格上重采样，在训练过程中使用可变的小批量形状——具体而言，是动态调整空间和时间分辨率。
• 它采用一种网格调度策略，从粗粒度（更小的T×H×W）和更大的小批量大小（B）开始，随着训练进程逐步过渡到更细粒度（更大的T×H×W）和更小的B。
• 该方法利用3D CNN中的权重共享机制，使模型能够在多个尺度上泛化，类似于数值优化中的多网格方法。
• 它保持标准的学习率调度和超参数设置，无需额外调优或模型修改。
• 该方法通过修改数据加载器，实现对不同网格上剪辑的重采样，从而在训练初期高效地在粗网格上训练，后期在细网格上训练。
• 它支持分段式和余弦式学习率调度，并适用于单GPU和分布式（128-GPU）训练设置。

实验结果

研究问题

• RQ1 能否通过在训练过程中动态调整输入分辨率和小批量大小，显著加速视频模型训练而不损失准确率？
• RQ2 与固定分辨率训练相比，从粗到细的网格调度策略是否能提升收敛速度和最终准确率？
• RQ3 该多网格训练方法在不同模型（如I3D、SlowFast、非局部网络）、数据集（Kinetics、Something-Something、Charades）和硬件配置下是否具有鲁棒性？
• RQ4 该方法是否可以无需超参数调优或架构修改即可应用，并在各种设置下保持性能？
• RQ5 长周期设计的选择（多周期 vs. 单周期）如何影响性能和泛化能力？

主要发现

• 多网格方法在Kinetics-400数据集上训练ResNet-50 SlowFast网络时，实现了4.5倍的壁时钟时间加速，同时将top-1准确率提升了0.8个百分点绝对值。
• 在更深的R101-SlowFast模型上，该方法实现了4.4倍的加速，相比基线模型准确率提升了0.5个百分点绝对值。
• 多周期长周期设计优于单周期设计，实现了4.5倍加速和76.4%的top-1准确率，而单周期变体虽然达到5.2倍加速，但准确率仅为74.4%。
• 在余弦学习率调度下，该方法仍实现了4.2–5.2倍的加速，且准确率与基线相当，表明其对学习率调度变化具有鲁棒性。
• 在测试时的3裁剪推理设置下，多网格训练的模型在256²裁剪上达到了78.1%的top-1准确率，优于基线模型（77.2%），同时训练速度提升了5.5倍。
• 该方法在数据集间具有良好的泛化能力：在Something-Something V2和Charades数据集上无需重新训练或调优，也实现了稳定的加速和准确率提升。