[論文レビュー] Transformer is All You Need: Multimodal Multitask Learning with a Unified Transformer

Ronghang Hu, Amanpreet Singh|arXiv (Cornell University)|Feb 22, 2021

Topic Modeling被引用数 26

ひとこと要約

UniTは、視覚、言語、マルチモーダル推論をカバーする7つの多様なタスクを、タスク固有のヘッドを備えた単一の共有エンコーダ・デコーダ構造を用いて一括して学習する統合型トランスフォーマー・アーキテクチャを提案する。8つのデータセットを対象にエンド・ツー・エンドで訓練することで、タスク固有のモデルと同等のパフォーマンスを達成しながら、コンactでパrameter効率の高いアーキテクチャを実現する。

ABSTRACT

We propose UniT, a Unified Transformer model to simultaneously learn the most prominent tasks across different domains, ranging from object detection to language understanding and multimodal reasoning. Based on the transformer encoder-decoder architecture, our UniT model encodes each input modality with an encoder and makes predictions on each task with a shared decoder over the encoded input representations, followed by task-specific output heads. The entire model is jointly trained end-to-end with losses from each task. Compared to previous efforts on multi-task learning with transformers, we share the same model parameters to all tasks instead of separately fine-tuning task-specific models and handle a much higher variety of tasks across different domains. In our experiments, we learn 7 tasks jointly over 8 datasets, achieving comparable performance to well-established prior work on each domain under the same supervision with a compact set of model parameters. Code will be released in MMF at https://mmf.sh.

研究の動機と目的

• 異なるドメインにまたがる複数の多様なタスクを、1つのアーキテクチャで一括して学習できる統合型ディープラーニングモデルの開発を目的とする。
• すべてのタスク間でモデルパラメータを共有することで、タスク固有のファインチューニングの必要性を排除することを目的とする。
• 異なる入力モダリティと出力フォーマットを有する異種のタスクに対して、1つのモデルをエンド・ツー・エンドで訓練できることを目的とする。
• 各タスクで競争力のあるパフォーマンスを維持しながら、モデルのコンパクトさとパrameter効率を保つことを目的とする。
• マルチモーダルおよびクロスドメイン設定における統合的マルチタスク学習の実現可能性と有効性を示すこと

提案手法

• モデルは、任意のモダリティ（例：画像、テキスト）の入力を統一された文脈表現に変換するための共有トランスフォーマー・エンコーダを用いる。
• 共有デコーダは、エンコードされた表現に注目し、タスク固有の出力ヘッドを用いて各タスクの予測を生成する。
• すべてのタスクは、それぞれの損失関数とともに同時に訓練され、モデル全体のエンド・ツー・エンド最適化が可能になる。
• 各モダリティを別々にエンコードした後、共有エンコーダ・デコーダ・パスウェイで統合することで、マルチモーダル入力をサポートする。
• 視覚、言語、視覚言語タスクをカバーする複数のデータセット上でモデルを訓練し、各タスクの監視情報が統合最適化中に使用される。
• タスク間でのパラメータ共有により、冗長性が最小限に抑えられたコンactなモデルアーキテクチャが実現され、効率性と一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 1つのトランスフォーマー・モデルが、視覚、言語、マルチモーダル推論の各ドメインにおける多様なタスクを効果的に学習できるか？
• RQ2 タスク間でのパラメータ共有は、タスク固有のファインチューニングと比較してパフォーマンスにどのような影響を与えるか？
• RQ3 複数のモダリティを処理できる統合アーキテクチャが、個々のタスクで競争力のあるパフォーマンスを維持できる程度はどの程度か？
• RQ4 共同訓練がモデルの一般化性能およびパラメータ効率に与える影響は何か？
• RQ5 アーキテクチャの特化なしに、異種のデータセットおよびタスクタイプに対して強力なパフォーマンスを達成できるか？

主な発見

• UniTは、評価された7つのタスクすべてで、熟練したタスク固有モデルと同等のパフォーマンスを達成した。
• モデルは、画像分類、オブジェクト検出、視覚質問応答、言語理解をカバーする8つの多様なデータセットで、強力なパフォーマンスを維持した。
• パラメータ共有により、1つのタスクごとに別々のモデルを訓練するのを避ける、コンパクトなモデルアーキテクチャが実現された。
• タスク間のエンド・ツー・エンド共同訓練により、効果的な知識の転送と、ドメインをまたがる強固な一般化性能が得られた。
• 統合アーキテクチャは、マルチモーダルおよびクロスモーダル設定におけるマルチタスク学習の実現可能性とスケーラビリティを示した。
• コードベースはMMF経由で公開され、再現性および統合的マルチタスク学習分野におけるさらなる研究を可能にした。