[論文レビュー] All-in-One Image-Grounded Conversational Agents

Da Young Ju, Kurt Shuster+2 more|arXiv (Cornell University)|Dec 28, 2019

Multimodal Machine Learning Applications参考文献 41被引用数 7

ひとこと要約

本論文は、最先端の視覚および言語トランスフォーマーを統合し、新規の注意メカニズムを備えたマルチモーダルコンビナーを組み合わせることで、複数の画像に基づく会話タスクを1つのエージェントで学習可能な統合的マルチモーダルアーキテクチャを提案する。大規模なクロスモーダル事前学習を必要とせず、最小限の追加リソースで、画像キャプション、視覚的質問応答、画像ベースの対話など多様なタスクで最先端または競争力のある性能を達成しており、マルチタスク学習の有効性を示している。

ABSTRACT

As single-task accuracy on individual language and image tasks has improved substantially in the last few years, the long-term goal of a generally skilled agent that can both see and talk becomes more feasible to explore. In this work, we focus on leveraging individual language and image tasks, along with resources that incorporate both vision and language towards that objective. We design an architecture that combines state-of-the-art Transformer and ResNeXt modules fed into a novel attentive multimodal module to produce a combined model trained on many tasks. We provide a thorough analysis of the components of the model, and transfer performance when training on one, some, or all of the tasks. Our final models provide a single system that obtains good results on all vision and language tasks considered, and improves the state-of-the-art in image-grounded conversational applications.

研究の動機と目的

• 複数の画像とテキストのタスクを処理できる汎用的な会話エージェントの開発。
• 共通の視覚および言語エンコーダーを用いたマルチタスク学習が、複数の画像に基づく言語タスクの性能向上に寄与するかの調査。
• 異なる学習目的、アーキテクチャ、最適化戦略がマルチタスク性能に与える影響の分析。
• 大規模なクロスモーダル事前学習を用いずに、効果的なマルチモーダル推論を達成できるかの検証。
• マルチモーダルエージェントのコンポーネント設計および学習ダイナミクスに関する包括的なアブレーションスタディの提供。

提案手法

• 視覚入力および言語入力に対して、事前学習済みのResNeXtおよびBERTエンコーダーをそれぞれ使用。
• 新規の注意メカニズムを備えたマルチモーダルコンビナー部は、入力コンテキストに応じて視覚的およびテキスト的特徴の間で動的に注目を向ける。
• 複数のタスク（キャプション生成、VQA、画像チャット、パーソナリティベースのキャプション）を、共通のエンコーダーベースに端末から端末まで訓練。
• マルチタスク学習は、各タスクごとに早期停止を適用し、個別タスクのファインチューニングにより性能を向上。
• 大規模なクロスモーダル事前学習を回避し、既存データセットからの約100万枚の画像-文ペアのみに依存。
• リtrievalベースのタスク（例：COCO、Flickr30k）にはランク付けヘッドを、VQAには分類ヘッドを適用。

実験結果

リサーチクエスチョン

• RQ1 1つの統合的アーキテクチャが、多様な画像に基づく会話タスクで強力な性能を達成できるか？
• RQ2 共通の視覚および言語エンコーダーを用いたマルチタスク学習は、単一タスクや事前学習ベースのアプローチと比較してどう異なるか？
• RQ3 複数のマルチモーダルタスクのパフォーマンスをバランスよく向上させるために、どのコンポーネントと学習戦略が最も効果的か？
• RQ4 マルチタスク学習は、大規模なクロスモーダル事前学習の代替手段として有効であるか？
• RQ5 新規の注意メカニズムを備えたマルチモーダルコンビナーは、標準的な注目メカニズムに比べてどのように向上するか？

主な発見

• 本モデルは、パーソナリティキャプション、画像チャット、画像チャットQAを含む、画像に基づく会話タスクで最先端の結果を達成。
• マルチタスク学習後にファインチューニングを実施した場合が最良の結果を示した：COCOキャプションで59.6%を達成し、マルチタスクの早期停止（54.0%）および単一タスク学習（57.2%）を上回った。
• Flickr30kでは、早期停止で83.0%を達成し、マルチタスク（81.7%）および単一タスク（79.7%）のベースラインを上回り、小規模データセットにおいてマルチタスク学習の利点が顕著に表れた。
• VQAおよび標準的なキャプション生成タスク（COCO、Flickr30k）でも競争力ある性能を示したが、Visual Genome や Conceptual Captions といった大規模な事前学習データセットを用いていないにもかかわらず、最先端手法と同等の結果を達成した。
• アブレーションスタディにより、新規の注意メカニズムを備えたマルチモーダルコンビナーが標準的な注目メカニズムを上回ること、および、バランスの取れたタスクの混合で学習させることで一般化性能が向上することが確認された。
• 約100万枚の画像-文ペアと約40 V100 GPU時間のリソースのみで強力なパフォーマンスを達成した。これは、マルチタスク学習が大規模な事前学習に代わる計算的に効率的な代替手段であることを示している。