[論文レビュー] A Multigrid Method for Efficiently Training Video Models

Chao-Yuan Wu, Ross Girshick+3 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Neural Network Applications参考文献 30被引用数 5

ひとこと要約

本論文は、グリッドスケジュールを用いて空間的・時間的解像度の異なるミニバッチ形状を動的に変化させることで、動画モデルの学習を高速化するマルチグリッド学習手法を提案する。ResNet-50 SlowFastを用いたKinetics-400上では4.5倍の高速化を達成するとともに、正確性を0.8%絶対的に向上させ、ハイパーパrameterチューニングなしで、多様なモデル、データセット、ハードウェア環境においてベースラインを上回る性能を発揮した。

ABSTRACT

Training competitive deep video models is an order of magnitude slower than training their counterpart image models. Slow training causes long research cycles, which hinders progress in video understanding research. Following standard practice for training image models, video model training assumes a fixed mini-batch shape: a specific number of clips, frames, and spatial size. However, what is the optimal shape? High resolution models perform well, but train slowly. Low resolution models train faster, but they are inaccurate. Inspired by multigrid methods in numerical optimization, we propose to use variable mini-batch shapes with different spatial-temporal resolutions that are varied according to a schedule. The different shapes arise from resampling the training data on multiple sampling grids. Training is accelerated by scaling up the mini-batch size and learning rate when shrinking the other dimensions. We empirically demonstrate a general and robust grid schedule that yields a significant out-of-the-box training speedup without a loss in accuracy for different models (I3D, non-local, SlowFast), datasets (Kinetics, Something-Something, Charades), and training settings (with and without pre-training, 128 GPUs or 1 GPU). As an illustrative example, the proposed multigrid method trains a ResNet-50 SlowFast network 4.5x faster (wall-clock time, same hardware) while also improving accuracy (+0.8% absolute) on Kinetics-400 compared to the baseline training method. Code is available online.

研究の動機と目的

• 深層動画モデルの学習時間が非常に長く、研究進展やスケーラビリティを妨げている問題に対処すること。
• 固定されたミニバッチ形状（例：高解像度で正確性を確保、低解像度で高速化）に起因する、学習速度と正確性のトレードオフを克服すること。
• モデル性能を損なわせることなく、学習を高速化するシンプルで汎用性の高い戦略を開発すること。

提案手法

• 本手法は、複数のサンプリンググリッド上で再サンプリングすることにより、学習全体を通して変動するミニバッチ形状（具体的には空間的・時間的解像度の変化）を用いる。
• 粗い（T×H×Wが小さい）でミニバッチサイズが大きい（B）状態から開始し、学習が進むにつれて、より細かい（T×H×Wが大きい）でBが小さい状態へ段階的に移行するグリッドスケジュールを採用する。
• 3D CNNにおける重み共有を活用し、数値最適化分野のマルチグリッド法に類似した、複数スケールにわたる一般化を可能にする。
• 標準的な学習率スケジュールとハイパーパrameterを維持し、追加のチューニングやモデルの変更を一切不要としない。
• データローダーを変更することで、粗いグリッドで初期に効率的な学習を実現し、後半に細かいグリッドで学習を継続する実装を可能にする。
• ステップワイズおよびコサイン学習率スケジュールの両方をサポートし、単一GPUおよび分散（128-GPU）学習環境でも動作する。

実験結果

リサーチクエスチョン

• RQ1 学習中に入力解像度とミニバッチサイズを変化させることで、正確性を損なわず、動画モデルの学習速度を著しく高速化できるか？
• RQ2 粗いグリッドから細かいグリッドへのスケジューリング戦略は、固定解像度学習と比較して収束速度と最終的な正確性を向上させるか？
• RQ3 本手法は、異なるモデル（例：I3D、SlowFast、非局所層）、データセット（Kinetics、Something-Something、Charades）、ハードウェア構成においても頑健に動作するか？
• RQ4 ハイパーパrameterチューニングやアーキテクチャの変更なしに適用可能であり、多様な環境で性能を維持できるか？
• RQ5 長サイクル設計（マルチサイクル対シングルサイクル）の選択が、性能および一般化能力にどのように影響するか？

主な発見

• マルチグリッド手法により、Kinetics-400上でのResNet-50 SlowFastネットワークの学習で、壁時計時間に4.5倍の高速化を達成するとともに、トップ-1正確性を0.8%絶対的に向上させた。
• より深いR101-SlowFastでは、4.4倍の高速化とベースライン比0.5%の正確性上昇を達成した。
• マルチサイクル長サイクル設計はシングルサイクル設計を上回り、4.5倍の高速化と76.4%のトップ-1正確性を達成した。一方、シングルサイクルバージョンでは5.2倍の高速化であったが、正確性は74.4%にとどまった。
• コサイン学習率スケジュールを用いても、4.2～5.2倍の高速化が達成され、ベースラインと同等の正確性を維持した。これは、学習率スケジュールの変更に対しても本手法の頑健性を示している。
• 3クロップ推論などのテスト時設定において、マルチグリッドで学習されたモデルは256²のクロップでトップ-1正確性78.1%を達成し、ベースライン（77.2%）を上回った。一方、学習は5.5倍速く行われた。
• 本手法はデータセット間でも一般化が可能であり、再トレーニングやチューニングなしに、Something-Something V2およびCharadesでも一貫した高速化と正確性の向上を達成した。