[論文レビュー] Scaling Multimodal Pre-Training via Cross-Modality Gradient Harmonization

Junru Wu, Yi Liang+4 more|arXiv (Cornell University)|Nov 3, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、大規模データセットにおける弱いクロスマダリティアライメント（CMA）からのノイジーサポートを軽減することで、マルチモーダル事前学習を向上させるためにクロスマダリティ勾配ハーモナイゼーションを提案する。勾配再整列と勾配ベースのカリキュラム学習を導入し、損失勾配を整列させ、ノイズの少ないサンプルを優先することで、下流タスクにおける性能を顕著に向上させ、YouTube8Mのようなノイズが多く物語的でないデータセットへの効果的なスケーリングを可能にし、新たなSOTA結果を達成した。

ABSTRACT

Self-supervised pre-training recently demonstrates success on large-scale multimodal data, and state-of-the-art contrastive learning methods often enforce the feature consistency from cross-modality inputs, such as video/audio or video/text pairs. Despite its convenience to formulate and leverage in practice, such cross-modality alignment (CMA) is only a weak and noisy supervision, since two modalities can be semantically misaligned even they are temporally aligned. For example, even in the commonly adopted instructional videos, a speaker can sometimes refer to something that is not visually present in the current frame; and the semantic misalignment would only be more unpredictable for the raw videos from the internet. We conjecture that might cause conflicts and biases among modalities, and may hence prohibit CMA from scaling up to training with larger and more heterogeneous data. This paper first verifies our conjecture by observing that, even in the latest VATT pre-training using only instructional videos, there exist strong gradient conflicts between different CMA losses within the same video, audio, text triplet, indicating them as the noisy source of supervision. We then propose to harmonize such gradients, via two techniques: (i) cross-modality gradient realignment: modifying different CMA loss gradients for each sample triplet, so that their gradient directions are more aligned; and (ii) gradient-based curriculum learning: leveraging the gradient conflict information on an indicator of sample noisiness, to develop a curriculum learning strategy to prioritize training on less noisy sample triplets. Applying those techniques to pre-training VATT on the HowTo100M dataset, we consistently improve its performance on different downstream tasks. Moreover, we are able to scale VATT pre-training to more complicated non-narrative Youtube8M dataset to further improve the state-of-the-arts.

研究の動機と目的

• ノイズの多いクロスマダリティアライメント（CMA）が、特にキュレーションされていない非物語的データセットにおけるマルチモーダル事前学習に与える影響を調査すること。
• CMA損失間の矛盾する勾配が、訓練の不安定性とモダリティ固有の過学習の主な要因であることを同定すること。
• 訓練の安定性と多様な下流タスクにおける性能を向上させる勾配ハーモナイゼーション技術を提案すること。
• アーキテクチャの変更なしに、YouTube8Mのようなより多様性が高くノイズの多いデータセットへのマルチモーダル事前学習の効果的スケーリングを可能にすること。

提案手法

• 同じサンプルトリプレット内での異なるCMA損失（例：ビデオ-テキストおよびビデオ-オーディオ）からの勾配の方向を整列させるクロスマダリティ勾配再整列を導入する。
• 勾配ベクトル間の角度を最小化するように、射影に基づく手法を用いて、可学習変換として勾配再整列を定式化する。
• 勾配の衝突の大きさをサンプルのノイズ度の代理指標として用い、よりクリアなサンプルを優先して学習する勾配ベースのカリキュラム学習を提案する。
• バックボーンアーキテクチャを変更せずに、モダリティに依存しないVATTフレームワークに、両技術をプラグアンドプレイ形式で適用する。
• 衝突の度合を測る指標として、勾配ベクトル間のコサイン類似度を用い、角度がしきい値を超えた場合にのみ勾配を再整列する。
• リアルタイムの勾配衝突スコアに基づいて動的にサンプリングを調整するカリキュラムスケジュールを採用し、一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 実世界のデータセットにおけるクロスマダリティ対照損失間の矛盾する勾配が、マルチモーダル事前学習にどの程度悪影響を及えるか？
• RQ2 勾配再整列は、モダリティに依存しない設定においてCMA損失間の衝突を軽減し、表現学習を改善できるか？
• RQ3 勾配衝突は、マルチモーダル事前学習におけるカリキュラム学習において、サンプルのノイズ度を信頼できる指標として機能するか？
• RQ4 勾配ハーモナイゼーションは、YouTube8Mのようなノイズが多く物語的でないデータセットにおける効果的な事前学習を可能にするか？
• RQ5 勾配ハーモナイゼーションは、モダリティ固有およびクロスマダリティの下流タスク性能にどのように影響を与えるか？

主な発見

• HowTo100MにおけるVATT事前学習に勾配再整列とカリキュラム学習を適用することで、動画行動分類、テキスト-ビデオ検索、音声分類を含むすべての下流タスクで性能が顕著に向上した。
• UCF101では89.70%のTop-1精度を達成し、モダリティに依存しない設定で新たなSOTA結果となった。
• HMDB51では92.15%のTop-5精度に達し、Kinetics400では80.01%のTop-1精度を達成し、強力な一般化性能を示した。
• ESC50では85.00%のTop-1精度を達成し、ノイズの多いサポートにもかかわらず音声分類において改善されたロバストネスを示した。
• 特徴可視化により、勾配ハーモナイゼーションがビデオとテキスト表現の分離性を高め、モデルの識別性能を向上させることを確認した。
• 本手法により、VATT事前学習がYouTube8Mへと効果的にスケーリング可能となり、データのノイズによる性能低下が見られるベースラインとは対照的に、性能の劣化を回避できた。