[論文レビュー] Style-Aware Contrastive Learning for Multi-Style Image Captioning

Yucheng Zhou, Guodong Long|arXiv (Cornell University)|Jan 26, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、マルチスタイル画像キャプションのためのスタイル認識型対照学習（SACO）を提案する。スタイル認識型の視覚エンコーダーと対照学習を導入し、言語的スタイルに関連する視覚特徴を抽出するとともに、画像・スタイル・キャプションの間の整合性を保証するスタイル認識型三重対照損失を導入している。本手法は、動的リtrieval方式とハードネガティブサンプリングのトレードオフ関数を活用することで、3つのベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Existing multi-style image captioning methods show promising results in generating a caption with accurate visual content and desired linguistic style. However, existing methods overlook the relationship between linguistic style and visual content. To overcome this drawback, we propose style-aware contrastive learning for multi-style image captioning. First, we present a style-aware visual encoder with contrastive learning to mine potential visual content relevant to style. Moreover, we propose a style-aware triplet contrast objective to distinguish whether the image, style and caption matched. To provide positive and negative samples for contrastive learning, we present three retrieval schemes: object-based retrieval, RoI-based retrieval and triplet-based retrieval, and design a dynamic trade-off function to calculate retrieval scores. Experimental results demonstrate that our approach achieves state-of-the-art performance. In addition, we conduct an extensive analysis to verify the effectiveness of our method.

研究の動機と目的

• 既存のマルチスタイルキャプションモデルが言語的スタイルと視覚的コンテンツの関係を無視しているというギャップを埋める。
• 特定の言語的スタイルに関連する視覚特徴を抽出できるようにすることで、キャプションの品質を向上させる。
• 画像・スタイル・キャプションの正しいマッチングを保証するため、三重レベルの整合性をモデル化する。
• リtrievalベースの戦略を用いて、有効なポジティブおよびネガティブサンプルのマイニングにより、対照学習を強化する。

提案手法

• 与えられた言語的スタイルに条件づけられた視覚表現を対照学習を用いて学習するスタイル認識型視覚エンコーダーを提案する。
• 画像・スタイル・キャプションがポジティブな三重対を形成するかどうかを区別するためのスタイル認識型三重対照損失を導入する。
• ポジティブおよびネガティブサンプルを対照学習用に生成するための3つのリtrieval方式——オブジェクトベース、RoIベース、三重対ベース——を設計する。
• オブジェクトの被覆度、視覚的特徴の類似度、三重対特徴の類似度をバランスさせるために、動的トレードオフ関数を用いてリtrievalスコアを計算する。
• ビームサーチを用いてキャプション生成を行うが、その際、対照的目標に従ってスタイル認識型視覚表現学習をガイドする。
• 視覚的特徴と言語的スタイルの間の整合性を図るために、対照学習を適用し、マルチスタイルキャプションにおけるクロスモodal整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチスタイル画像キャプションにおいて、視覚的コンテンツをどのようにして言語的スタイルと効果的に整合させることができるか？
• RQ2 異なるスタイル下で関連する視覚的特徴をマイニングするための対照学習を支援する最適なリtrieval戦略は何か？
• RQ3 リtrieval方式間の動的トレードオフ関数がモデル性能に与える影響はいかほどか？
• RQ4 スタイル認識型三重対照損失は、画像・スタイル・キャプションのマッチングを検証する能力をどの程度向上させるか？
• RQ5 提案手法は、既存のベースラインと比較して、より魅力的で文脈的に正確なキャプションを生成できるか？

主な発見

• 提案手法は、SentiCap、FlickrStyle10K、PERSONALITY-CAPTIONSの3つのマルチスタイル画像キャプションベンチマークで最先端の性能を達成した。
• 人間による評価では、62.9％の被験者がSACOが生成したキャプションを魅力的だと評価したのに対し、GPT-Speakerは37.1％であった。
• 視覚的関連性（64.9％の勝率）とパーソナライズド関連性（63.4％の勝率）の両面で、強力なベースラインを上回った。
• アブレーションスタディの結果、動的トレードオフ関数と三重対ベースのリtrievalが性能向上に顕著に寄与しており、ω = 0.8が最適な結果をもたらした。
• 解釈可能な可視化により、モデルがスタイルに関連する画像領域（例：「幸せ」スタイルでは目や毛並み、「恐れ」スタイルでは歯や足）に注目していることが確認された。
• ハードネガティブサンプルに対して頑健であることが示され、ω = 0.8で性能がピークに達し、ネガティブサンプルが難しすぎると性能が低下した。