[論文レビュー] CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation

Hongguang Zhu, Yunchao Wei+3 more|arXiv (Cornell University)|Aug 14, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、視覚言語連続的事前学習（VLCP）のための新規手法CTPを提案する。CTPは、互換性のあるモーメンタムコントラストとトポロジー保存を組み合わせることで、拡大し続ける視覚言語データに対して効率的で安定的かつ正確な連続的学習を可能にする。CTPはP9Dベンチマークで50.53%のTR@1および70.63%のRmを達成し、最先端の性能を発揮。記憶領域のオーバーヘッドを回避しながら、先行手法より最大5.76%の向上を達成した。

ABSTRACT

Vision-Language Pretraining (VLP) has shown impressive results on diverse downstream tasks by offline training on large-scale datasets. Regarding the growing nature of real-world data, such an offline training paradigm on ever-expanding data is unsustainable, because models lack the continual learning ability to accumulate knowledge constantly. However, most continual learning studies are limited to uni-modal classification and existing multi-modal datasets cannot simulate continual non-stationary data stream scenarios. To support the study of Vision-Language Continual Pretraining (VLCP), we first contribute a comprehensive and unified benchmark dataset P9D which contains over one million product image-text pairs from 9 industries. The data from each industry as an independent task supports continual learning and conforms to the real-world long-tail nature to simulate pretraining on web data. We comprehensively study the characteristics and challenges of VLCP, and propose a new algorithm: Compatible momentum contrast with Topology Preservation, dubbed CTP. The compatible momentum model absorbs the knowledge of the current and previous-task models to flexibly update the modal feature. Moreover, Topology Preservation transfers the knowledge of embedding across tasks while preserving the flexibility of feature adjustment. The experimental results demonstrate our method not only achieves superior performance compared with other baselines but also does not bring an expensive training burden. Dataset and codes are available at https://github.com/KevinLight831/CTP.

研究の動機と目的

• 視覚言語モデルのための、大規模かつ現実的で継続的な事前学習データセットの不足に対処すること。
• 視覚言語連続的事前学習（VLCP）における新たな課題、例えば固定次元の埋め込みと欠落したコントラストサンプルを特定・分析すること。
• 記憶領域を必要とせず、災難的忘却を回避しながら安定した知識蓄積を可能にする、記憶効率の高い高性能な手法を提案すること。
• 9つの業界からなる100万組以上の画像・テキストペアを含む、統一されたベンチマークP9Dを確立し、現実世界の長尾的かつ非ステーションリティなデータストリームを模擬すること。

提案手法

• 現在のタスクと過去のタスクモデルからの知識を統合することで、動的にモーメンタムエンコーダーを更新する、互換性のあるモーメンタムコントラスト（CMC）モジュールを導入。
• タスク間で一貫したサンプル関係を維持することで、埋め込み空間の構造的組織を保存するトポロジー保存を採用。
• 現在のタスクからの負例を格納するためのモーメンタムキューを活用し、学習の安定化と忘却の低減を実現。
• 最大類似度干渉による性能低下を防ぐために、同モodal類似度にソフト制約を適用。
• 柔軟性と安定性のバランスを取る統一損失関数を通じて、画像、テキスト、マルチモーダルエンコーダーを同時に最適化。
• 古いデータを保存せず、記憶効率を確保しながら高い性能を維持する連続的事前学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 災難的忘却を回避しながら、継続的に到着するデータに対して視覚言語モデルを効果的かつ効率的にファインチューニングする方法は何か？
• RQ2 従来のクラスインクリメンタル学習と比較して、視覚言語連続的事前学習に特有の課題は何か？
• RQ3 記憶領域を必要としない手法は、VLCPにおいて記憶バッファ手法と同等の性能を達成できるか？
• RQ4 互換性のあるモーメンタムコントラストとトポロジー保存が、連続的視覚言語学習におけるモデルの安定性と正確性をどのように向上させるか？
• RQ5 提案されたP9Dベンチマークは、現実世界のデータ分布と長尾的特性をどの程度反映しているか？

主な発見

• CTPはP9Dベンチマークで50.53%のTR@1および70.63%のRmを達成し、経験リプレイを組み合わせた最強のベースラインより最大5.76%の向上を示した。
• アブレーションスタディにより、両方のモジュールが不可欠であることが確認され、特にトポロジー保存がRmで5.64%の向上をもたらした。
• 両方のコンponentsを併用した場合、mAP@1が0.57%、Rmが1.88%向上し、相乗効果が顕著に現れた。
• モーメンタムキューはわずかに性能を向上させ、訓練の滑らかさを高め、忘却を低減する役割を果たしていることが示された。
• 同モダリティの最大類似度を抑制することは極めて重要であり、このコンponentを省略すると性能が低下するため、正確な類似度学習の維持に不可欠であることが明らかになった。
• CTPは古いデータを保存せず、記憶効率とスケーラビリティの面で記憶バッファ手法よりも優れた結果を達成した。