[論文レビュー] Turbo Training with Token Dropout

Tengda Han, Weidi Xie+1 more|arXiv (Cornell University)|Oct 10, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、スパースにサンプリングされた視覚的トークンを用いて、マスク化自己符号化損失と下流タスク損失を同時に最適化することで、動画タスクにおけるビジョントランスフォーマーの訓練を計算効率的に行うための「Turboトレーニング」を提案する。この手法は、アクション分類、動画・言語学習、長時間動画のアクティビティ認識の各タスクで競争力のある性能を維持しながら、ほぼ4倍の高速化とメモリ使用量の削減を達成し、従来では不可能だったエンドツーエンドの長時間動画学習を可能にする。

ABSTRACT

The objective of this paper is an efficient training method for video tasks. We make three contributions: (1) We propose Turbo training, a simple and versatile training paradigm for Transformers on multiple video tasks. (2) We illustrate the advantages of Turbo training on action classification, video-language representation learning, and long-video activity classification, showing that Turbo training can largely maintain competitive performance while achieving almost 4X speed-up and significantly less memory consumption. (3) Turbo training enables long-schedule video-language training and end-to-end long-video training, delivering competitive or superior performance than previous works, which were infeasible to train under limited resources.

研究の動機と目的

• 長時間の動画データに対するビジョントランスフォーマーの訓練における高い計算コストとメモリ使用量を低減し、研究進展を妨げる要因を解消すること。
• 特に、限られたハードウェアリソースを有する研究者にとっての障壁となる、長時間のトレーニングスケジュールとリソース要件のボトルネックを克服すること。
• 事前抽出された特徴量や2段階のトレーニングパイプラインを必要とせず、長時間動画に対してエンドツーエンドでトランスフォーマーを訓練可能にする。
• 動画データに内在する冗長性を活用することで、トレーニング中の処理対象トークン数を著しく削減しながらも、性能を維持すること。
• マスク化自己符号化と下流タスクの最適化を統合した共同事前学習が、最小限の計算コストで強力な表現を生成できることを示すこと。

提案手法

• トレーニング中にスパースなトークンドロップアウトを適用し、空間的・時間的トークンの大部分（最大90％）をマスクして、マスク化自己符号化器により再構築する。
• 自己教師付き表現学習のためのマスク化自己符号化損失と、標準的な下流タスク損失（例：交差エントロピー損失や対照的損失）の両方を含むマルチタスク目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 各トレーニングステップで固定のマスキング比を設定し、フレームのサンプリングを動画の最初の20％と最後の20％に制限することで、重要な瞬間をカバーする。
• 入力長が異なる場合（例：16、32、64フレーム）でも、可視パッチの数を一定に保つために、計算コストと時間的文脈の両立を図るべくマスキング比を調整する。
• ビジョントランスフォーマーのエンコーダーを、マスク化自己符号化と下流タスクの監視の両方を1つの最適化ループで同時に学習させることで、統合的特徴学習を実現する。
• 動画データに内在する本質的な冗長性（完全な信号を再構築するのに必要なのはスパースなトークンのサブセットにすぎない）を活用し、性能の低下を伴わずに効率的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マスク化自己符号化損失と下流タスク監視を組み合わせることで、計算コストを著しく削減しながらも、動画理解タスクで競争力のある性能を維持できるか？
• RQ2 例えば87.5％のマスキングを施したトークンドロップアウトは、アクション分類や動画・言語アライメントといった長時間動画タスクにおいて、表現品質をどの程度維持できるか？
• RQ3 Turboトレーニングにより、事前抽出特徴量や2段階パイプラインを回避したエンドツーエンドの長時間動画学習が可能になるか？
• RQ4 マスク化自己符号化を用い、マスキング比を変化させた場合、入力の時間的範囲（例：16フレーム対64フレーム）が性能に与える影響は何か？
• RQ5 Turboトレーニングによる共同動画・言語事前学習は、事前抽出特徴量や別々の事前学習段階に依存する手法よりも、より高品質な表現を生成するか？

主な発見

• Turboトレーニングは、複数の動画タスクで競争力のある性能を維持しながら、ほぼ4倍の高速化と顕著なメモリ削減を達成した。
• Breakfastデータセットでは、32フレーム入力と75％のマスキング比（F32）を用いたTurboトレーニングが91.3％の精度を達成し、事前抽出特徴量を用いた先行の2段階手法（89.9％）を上回った。
• COINデータセットでは、32フレーム入力でTurboトレーニングが87.5％の精度を達成し、2段階トレーニングパイプラインを用いた最先端手法（88.9％）と同等の性能を示した。
• 本手法により、長時間動画のエンドツーエンド学習が可能となり、HTM-AAデータセットでは、動画・言語アライメントの分野で、従来手法を上回った（MIL-NCE: 31.3、IP: 22.0）。
• 16フレームから32フレームにフレーム数を増やすことで性能が向上した（Breakfastでは88.2％から91.3％へ）。しかし、64フレームにさらに増加させた場合（87.5％マスキング）、性能が低下した。これは、高比率のマスキングが重要なアクションを逃す可能性があることを示唆している。
• Turboトレーニングによる共同動画・言語事前学習は、高品質な埋め込み表現を生成し、TANベンチマークでは49.4％のアライメント精度を達成し、事前抽出特徴量に依存する手法を上回った。