[論文レビュー] Similar Scenes arouse Similar Emotions: Parallel Data Augmentation for Stylized Image Captioning

Guodun Li, Yuchen Zhai+2 more|arXiv (Cornell University)|Aug 26, 2021

Multimodal Machine Learning Applications参考文献 46被引用数 5

ひとこと要約

本論文は、シーン間の感情的・文脈的類似性を活用することで、スタイル付き画像キャプションにおけるデータ不足の問題に取り組む、新規な抽出・検索・生成（ERG）データ拡張フレームワークを提案する。小規模なスタイル付きキャプションからスタイルフレーズを抽出し、大規模な事実ベースのデータから意味的・視覚的に類似したシーンを検索し、感情に配慮した生成により多様で流れの良いスタイル付きキャプションを生成することで、キャプションの関連性とスタイルの強さが著しく向上し、教師ありおよび教師なし設定の両方で最先端のモデルを上回る性能を発揮する。

ABSTRACT

Stylized image captioning systems aim to generate a caption not only semantically related to a given image but also consistent with a given style description. One of the biggest challenges with this task is the lack of sufficient paired stylized data. Many studies focus on unsupervised approaches, without considering from the perspective of data augmentation. We begin with the observation that people may recall similar emotions when they are in similar scenes, and often express similar emotions with similar style phrases, which underpins our data augmentation idea. In this paper, we propose a novel Extract-Retrieve-Generate data augmentation framework to extract style phrases from small-scale stylized sentences and graft them to large-scale factual captions. First, we design the emotional signal extractor to extract style phrases from small-scale stylized sentences. Second, we construct the plugable multi-modal scene retriever to retrieve scenes represented with pairs of an image and its stylized caption, which are similar to the query image or caption in the large-scale factual data. In the end, based on the style phrases of similar scenes and the factual description of the current scene, we build the emotion-aware caption generator to generate fluent and diversified stylized captions for the current scene. Extensive experimental results show that our framework can alleviate the data scarcity problem effectively. It also significantly boosts the performance of several existing image captioning models in both supervised and unsupervised settings, which outperforms the state-of-the-art stylized image captioning methods in terms of both sentence relevance and stylishness by a substantial margin.

研究の動機と目的

• 大規模なペairedなスタイル付き画像・キャプションデータセットが少なく、作成に費用がかかるため、スタイル付き画像キャプションにおけるデータ不足という重要な課題に取り組むこと。
• 教師なし学習に対する補完的アプローチとしてのデータ拡張を検討し、未ペairedなテキストや複雑なスタイル分離に依存せずにモデル性能を向上させること。
• 心理学的原則、特に「文脈効果」を活用することにより、類似したシーンは類似した感情を喚起し、結果として類似した表現スタイルフレーズを生成する。
• 既存の画像キャプションモデルに最小限のアーキテクチャ的変更で統合可能な、プラグアンドプレイでモジュラーなフレームワークを開発すること。
• 特に低リソースおよび教師なし設定において、生成キャプションの文の関連性とスタイルの強さの両方を向上させること。

提案手法

• 感情信号抽出器は、自然言語処理技術を用いて、小規模なスタイル付きキャプションから言語的スタイルフレーズ（例：'自然の美しさを楽しもう'）を特定・分離する。
• プラグアンドプレイなマルチモーダルシーン検索器は、事前学習済みのビジョン・ランゲージ変換器を用いて、画像同士、画像とテキスト、テキストと画像、テキスト同士のクロスモーダル類似度を計算し、大規模な事実ベースの画像・キャプションデータセット内で意味的・視覚的に類似したシーンを特定する。
• 感情に配慮したキャプション生成器は、クエリ画像の事実ベースの記述と、類似したシーンから取得したスタイルフレーズを統合して、滑らかで多様かつスタイル的に一貫性のあるキャプションを生成する。
• フレームワークは3段階のパイプラインとして動作する：小規模なスタイル付きデータからスタイルフレーズを抽出し、マルチモーダル埋め込みを用いて類似したシーンを検索し、条件付き生成によって新しいスタイル付きキャプションを生成する。
• 本手法は、さまざまな事前学習モデル（例：GPT-2、T5）と互換性があり、未ペアのスタイル付きテキストと事実ベースの画像・キャプションペアが存在する場合でも動作可能である。
• 検索や生成におけるノイズに対して頑健であることが、定性的な例から示されており、生成器が検索されたスタイルフレーズのわずかな誤りを是正している。

実験結果

リサーチクエスチョン

• RQ1 大規模なペアデータを必要とせずに、シーン間の感情的・文脈的類似性を活用して高品質で多様なスタイル付きキャプションを生成することは可能か？
• RQ2 視覚的およびテキスト的埋め込みに基づくマルチモーダル検索システムは、異なるデータセット間で意味的に類似したシーンをどの程度正確に特定できるか？
• RQ3 類似したシーンからのスタイルフレーズの統合は、生成キャプションの関連性とスタイルの強さをどの程度向上させるか？
• RQ4 提案されたフレームワークは、教師ありおよび教師なし設定の両方で性能を向上させることができるか、特に最先端の事前学習モデルと組み合わせた場合に有効か？
• RQ5 ノイズや不完全な検索結果に対してもフレームワークは頑健であり、文法的に正しい、文脈的に適切なキャプションを生成できるか？

主な発見

• ERGフレームワークは、スタイル付き画像キャプションにおけるデータ不足を著しく軽減し、複数のベンチマークで性能向上を達成した。
• 本手法は、CIDEr（最大45.97）およびスタイルの強さ（cls）スコアの両方で、最先端の教師なしおよび教師ありスタイル付きキャプションモデルを上回った。
• i2i、i2t、t2i、t2tの4つの検索手法を組み合わせることで、単一の検索タイプよりも優れた性能が得られ、有用な拡張サンプルの数が増加した。
• ハイパーパrameter、特に拡張データの割合の選択に対して頑健であり、性能が広い範囲（例：0.05〜0.5）で安定した。
• GPT-2およびT5ベースの生成器の両方が強力な性能を発揮したため、フレームワークの柔軟性と多様な事前学習アーキテクチャとの互換性が裏付けられた。
• 未ペアのスタイル付きテキストと事実ベースの画像・キャプションデータが存在する場合でも、フレームワークは効果的に機能し、実世界の低リソース状況における実用性を示した。