[論文レビュー] Universal Captioner: Long-Tail Vision-and-Language Model Training through Content-Style Separation

Marcella Cornia, Lorenzo Baraldi+2 more|arXiv (Cornell University)|Nov 24, 2021

Multimodal Machine Learning Applications参考文献 64被引用数 9

ひとこと要約

この論文では、キーワードとスタイルトークンを用いてコンテンツとスタイルを分離することで、COCOのような人間アノテートデータセットの記述的品質を保ちながら、ノイズが多いウェブ規模のデータで学習することができる、ビジョンアンドランゲージモデルであるUniversal Captionerを提案する。統一されたプロンプト言語モデル化の目的関数を採用することで、COCOおよびNoCapsの両方で最先端の性能を達成し、特に長尾概念カバレッジとゼロショット設定において顕著な向上を示す。

ABSTRACT

While captioning models have obtained compelling results in describing natural images, they still do not cover the entire long-tail distribution of real-world concepts. In this paper, we address the task of generating human-like descriptions with in-the-wild concepts by training on web-scale automatically collected datasets. To this end, we propose a model which can exploit noisy image-caption pairs while maintaining the descriptive style of traditional human-annotated datasets like COCO. Our model separates content from style through the usage of keywords and stylistic tokens, employing a single objective of prompt language modeling and being simpler than other recent proposals. Experimentally, our model consistently outperforms existing methods in terms of caption quality and capability of describing long-tail concepts, also in zero-shot settings. According to the CIDEr metric, we obtain a new state of the art on both COCO and nocaps when using external data.

研究の動機と目的

• 既存のキャプションモデルが長尾の現実世界の概念を記述する能力に制限を受ける問題に対処すること。
• 高品質な人間アノテートデータに依存せず、ノイズが多いウェブ規模の画像キャプションペアを効果的に学習できるようにすること。
• COCOのようなデータセットで微調整されたモデルが示す自然で人間らしい記述的スタイルを維持すること。
• 希少なおよび分布外の概念に対するゼロショット一般化性能を向上させること。
• コンテンツとスタイルのモデリングを効果的に統合するシンプルで統一された学習目的関数を開発すること。

提案手法

• 視覚的概念（キーワード）とスタイル要因（スタイルトークン）を分離するコンテンツに配慮したトークン化方式を採用する。
• コンテンツとスタイルの両方を統合的なフレームワーク内で同時に最適化するための単一のプロンプト言語モデル化目的関数を用いる。
• スタイルトークンは学習中に学習され、人間アノテートキャプションの流暢さと自然さを保持する。
• COCOからのスタイル分布による正則化を施しながら、大規模かつ自動収集されたウェブデータでモデルを学習する。
• アーキテクチャ設計によるコンテンツとスタイルの分離により、未観測の概念への一般化が可能になる。
• 複雑なマルチステージ学習や別個のスタイル変換モジュールを回避することで、学習パイプラインを簡素化する。

実験結果

リサーチクエスチョン

• RQ1 統一されたビジョンアンドランゲージモデルは、ノイズが多いウェブ規模のデータから学習しつつ、人間アノテートデータセットのスタイル的品質を保持できるか？
• RQ2 このようなモデルは、長尾および分布外の視覚的概念へどの程度一般化できるか？
• RQ3 コンテンツ・スタイル分離は、希少な概念におけるゼロショットキャプション性能を向上させるか？
• RQ4 この設定において、単一の統一的目的関数は、マルチオブジェクティブまたはマルチステージ学習アプローチを上回れるか？
• RQ5 ノイズが多いデータで学習した際、モデルは人間が書いたキャプションの流暢さと自然さをどの程度維持できるか？

主な発見

• 外部データを用いてCOCOベンチマークで新たな最先端性能を達成し、CIDErスコアが向上した。
• 先行手法と比較して、キャプション品質および長尾概念カバレッジの両面で一貫した向上を示した。
• 微調整なしでゼロショット設定においても強く性能を発揮し、未観測の概念への一般化が効果的に実現された。
• コンテンツ・スタイル分離により、ノイズが多いデータから多様な現実世界の概念を学習しながらも、高い流暢さを維持できた。
• 統一されたプロンプト言語モデル化目的関数により、学習が簡素化されつつ、複数の評価設定で高い性能を維持した。
• NoCapsベンチマークでも既存手法を上回り、オープンボリュームキャプションにおける有効性を確認した。