[論文レビュー] Crossing the Format Boundary of Text and Boxes: Towards Unified Vision-Language Modeling

Zhengyuan Yang, Zhe Gan+6 more|arXiv (Cornell University)|Nov 23, 2021

Multimodal Machine Learning Applications参考文献 64被引用数 12

ひとこと要約

UNICORNは、境界ボックスを離散トークンに量子化し、それらをテキストトークンと統合することで、テキスト生成とボクシングボックス予測を1つのシーケンス・ツー・シーケンスタスクとして扱う統合型ビジョン・ランゲージモデルを提案する。このモデルは、単一のアーキテクチャを用いて7つのビジョン・ランゲージベンチマークで最先端または競争力のある性能を達成し、マルチタスク学習を可能にするとともに、ImageNetオブジェクトロケーションなどの新規タスクへの一般化を実現する。

ABSTRACT

In this paper, we propose UNICORN, a vision-language (VL) model that unifies text generation and bounding box prediction into a single architecture. Specifically, we quantize each box into four discrete box tokens and serialize them as a sequence, which can be integrated with text tokens. We formulate all VL problems as a generation task, where the target sequence consists of the integrated text and box tokens. We then train a transformer encoder-decoder to predict the target in an auto-regressive manner. With such a unified framework and input-output format, UNICORN achieves comparable performance to task-specific state of the art on 7 VL benchmarks, covering the visual grounding, grounded captioning, visual question answering, and image captioning tasks. When trained with multi-task finetuning, UNICORN can approach different VL tasks with a single set of parameters, thus crossing downstream task boundary. We show that having a single model not only saves parameters, but also further boosts the model performance on certain tasks. Finally, UNICORN shows the capability of generalizing to new tasks such as ImageNet object localization.

研究の動機と目的

• テキスト生成とオブジェクト検出を1つのビジョン・ランゲージモデリングフレームワークに統合すること。
• 複数のビジョン・ランゲージタスクに適したアーキテクチャを別々に設計する必要をなくすために、1つのモデルで複数のタスクを学習すること。
• 多様なビジョン・ランゲージタスク間でのパラメータ共有を通じて、モデルの効率性と性能を向上させること。
• アーキテクチャの変更なしに、ImageNetオブジェクトロケーションのような新規タスクへの一般化を可能にすること。

提案手法

• 各境界ボックスを座標を表す4つの離散トークンに量子化し、シーケンス内でのテキストトークンとの統合を可能にする。
• 離散的なボックストークンをシーケンスに変換し、テキストトークンと統合して、統合された入力表現を形成する。
• すべてのビジョン・ランゲージタスクを、テキストとボックストークンの結合シーケンス上の自己回帰的シーケンス生成タスクとして定式化する。
• 変換器エンコーダ・デコーダモデルをエンドツーエンドで学習し、テキストとボックストークンを含む完全なターゲットシーケンスを予測する。
• 共有パラメータを用いて、マルチタスクファインチューニングにより、統合モデルを多様な下流タスクに適応させる。
• 統合された表現と生成能力を活用することで、新規タスクへのゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的グランドイング、キャプション、VQAなどのビジョン・ランゲージタスクが、1つのシーケンス・ツー・シーケンス生成フレームワークに統合可能か？
• RQ2 複数のビジョン・ランゲージタスク間でのパラメータ共有が、モデルの性能と効率に与える影響は何か？
• RQ3 1つの統合モデルは、ImageNetオブジェクトロケーションのような新規で未確認のビジョン・ランゲージタスクに一般化可能か？
• RQ4 離散的ボックストークンをシーケンスに統合することで、ビジョンとランゲージの共同モデリングが向上するか？
• RQ5 多様なベンチマークにおいて、統合モデリングとタスク固有のアーキテクチャの間で性能のトレードオフは何か？

主な発見

• UNICORNは、視覚的グランドイング、グランド付きキャプション、VQA、画像キャプションを含む7つのビジョン・ランゲージベンチマークで最先端または競争力のある性能を達成した。
• マルチタスクファインチューニングを施した統合モデルは、評価されたすべてのベンチマークでタスク固有の最先端モデルと同等またはそれを上回る性能を示した。
• タスク間でのパラメータ共有により、特定のタスクで性能が向上した。これは、共同学習によるインダクティブバイアスの恩恵があることを示している。
• アーキテクチャの変更なしに、ImageNetオブジェクトロケーションのような新規タスクへの一般化が効果的に実現された。
• 境界ボックスの離散的トークン化により、自己回帰的言語モデリングとシームレスに統合され、スケーラブルな統合表現が形成された。