[論文レビュー] Playing Lottery Tickets with Vision and Language

Zhe Gan, Yen‐Chun Chen+7 more|arXiv (Cornell University)|Apr 23, 2021

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿は、VISION-AND-LANGUAGE (VL) プレトレーニングモデルにおけるロットリート・チケット仮説 (LTH) を調査し、UNITER や LXMERT、ViLT などのモデルにトレーニング可能な部分ネットワーク（"ワインニングチケット"）が存在することを示している。反復的マグニチュードベースのプルーニングを用いて、7つのVLタスクにおいて、スパarsityが60–70%の部分ネットワークが、完全モデルの96–98%の精度を維持することを発見。プレトレーニングに基づくチケットは、強力な普遍的転送性を示している。

ABSTRACT

Large-scale pre-training has recently revolutionized vision-and-language (VL) research. Models such as LXMERT and UNITER have significantly lifted the state of the art over a wide range of VL tasks. However, the large number of parameters in such models hinders their application in practice. In parallel, work on the lottery ticket hypothesis (LTH) has shown that deep neural networks contain small matching subnetworks that can achieve on par or even better performance than the dense networks when trained in isolation. In this work, we perform the first empirical study to assess whether such trainable subnetworks also exist in pre-trained VL models. We use UNITER as the main testbed (also test on LXMERT and ViLT), and consolidate 7 representative VL tasks for experiments, including visual question answering, visual commonsense reasoning, visual entailment, referring expression comprehension, image-text retrieval, GQA, and NLVR$^2$. Through comprehensive analysis, we summarize our main findings as follows. ($i$) It is difficult to find subnetworks that strictly match the performance of the full model. However, we can find "relaxed" winning tickets at 50%-70% sparsity that maintain 99% of the full accuracy. ($ii$) Subnetworks found by task-specific pruning transfer reasonably well to the other tasks, while those found on the pre-training tasks at 60%/70% sparsity transfer universally, matching 98%/96% of the full accuracy on average over all the tasks. ($iii$) Besides UNITER, other models such as LXMERT and ViLT can also play lottery tickets. However, the highest sparsity we can achieve for ViLT is far lower than LXMERT and UNITER (30% vs. 70%). ($iv$) LTH also remains relevant when using other training methods (e.g., adversarial training).

研究の動機と目的

• 大規模なビジョンアンドランゲージ (VL) プレトレーニングモデル（例：UNITER, LXMERT, ViLT）にロットリート・チケット仮説 (LTH) が適用可能かどうかを調査すること。
• 完全モデルと同等またはほぼ同等の性能を達成できるトレーニング可能な部分ネットワーク（ワインニングチケット）がVLモデルに特定可能かどうかを特定すること。
• これらの部分ネットワークが多様なVLのダウンストリームタスクおよびプレトレーニングタスクにわたって、どの程度転送可能かを評価すること。
• LTHが、異なるモデルアーキテクチャ（ワンストリーム対ツーフリーム）およびトレーニング戦略（例：アドバーシャルトレーニング）とどの程度相性が良いかを評価すること。

提案手法

• 反復的マグニチュードベースのプルーニング (IMP) を用いて、繰り返し訓練・プルーニング・再訓練を行うことで、プレトレーニング済みVLモデル内の部分ネットワークを同定する。
• 再訓練に際し、元のプレトレーニング済み重みを初期化として使用し、性能の妥当性を検証する。
• ダウンストリームタスクごとに別々にIMPを適用してタスク固有のワインニングチケットを同定するとともに、プレトレーニングタスクに適用してタスクに依存しないチケットを同定する。
• 標準的な交差エントロピー訓練とアドバーシャルトレーニングの両方で得られたチケットの性能を比較し、耐性の有無を評価する。
• 部分ネットワークを1つのタスクで訓練したのち、他のダウンストリームタスクに適用して、精度の維持度を測定することで、転送性を評価する。
• タスク間でのスパarsityパターンと類似性を分析し、VLモデルに共通するインダクティブバイアスの理解を深める。

実験結果

リサーチクエスチョン

• RQ1 ビジョンアンドランゲージのプレトレーニングモデル（例：UNITER, LXMERT, ViLT）にワインニングチケットを同定できるか？
• RQ2 プレトレーニングタスクで得た部分ネットワークは、普遍的にダウンストリームVLタスクに転送可能か？
• RQ3 モデルアーキテクチャ（例：ワンストリーム対ツーフリーム）が、ワインニングチケットのスパarsityおよび性能に与える影響は何か？
• RQ4 ビジョンアンドランゲージモデルにおいて、アドバーシャルトレーニング下でもロットリート・チケット仮説は成立するか？

主な発見

• スパarsityが50–70%の部分ネットワークが、完全モデルの99%の精度を達成できることから、VLモデルに「緩められた」ワインニングチケットが存在することが示された。
• プレトレーニングタスクで得たワインニングチケットは普遍的転送が可能であり、スパarsityが60%と70%の時点で、それぞれ完全モデルの98%および96%の精度を達成した。
• ViLTの最高スパarsityはわずか30%にとどまり、LXMERT や UNITER（70%）と比べて顕著に低い。これは、エンドツーエンドのパッチベース入力と統合型Transformerアーキテクチャに起因する。
• アドバーシャルトレーニングで得たワインニングチケットは、80%と70%のスパarsityで、標準トレーニングで70%と60%のスパarsityで得たチケットと同等の性能を示し、アドバーシャルトレーニングに対して耐性があることが示された。
• タスク固有のワインニングチケットは、ダウンストリームタスク間で比較的よく転送可能であり、プレトレーニングベースのチケットはタスク固有チケットに比べて一貫して優れた転送性能を示した。
• 7つのVLタスクの平均で、スパarsityが70%の普遍的部分ネットワークは、完全モデルの96%の精度を達成しており、VCRを除くと99%に達する。