[論文レビュー] Human-like Controllable Image Captioning with Verb-specific Semantic Roles

Long Chen, Zhihong Jiang+2 more|arXiv (Cornell University)|Mar 22, 2021

Multimodal Machine Learning Applications参考文献 76被引用数 5

ひとこと要約

本稿では、動詞とその意味的役割（例：主体、場所）を視覚的エンティティにマッピングすることで、イベント適合性とサンプル適合性を保証する、制御可能な画像キャプションのための新しい制御信号である動詞固有意味的役割（VSR）を提案する。フレームワークは、接地された意味的役割ラベリングモデル、意味的構造プランナ、役割シフトキャプションモデルを用い、高品質で多様性に富み、人間らしいキャプションを生成する。COCOエンティティデータセットにおいて、精度と制御性の両面で強力なベースラインを上回る性能を発揮する。

ABSTRACT

Controllable Image Captioning (CIC) -- generating image descriptions following designated control signals -- has received unprecedented attention over the last few years. To emulate the human ability in controlling caption generation, current CIC studies focus exclusively on control signals concerning objective properties, such as contents of interest or descriptive patterns. However, we argue that almost all existing objective control signals have overlooked two indispensable characteristics of an ideal control signal: 1) Event-compatible: all visual contents referred to in a single sentence should be compatible with the described activity. 2) Sample-suitable: the control signals should be suitable for a specific image sample. To this end, we propose a new control signal for CIC: Verb-specific Semantic Roles (VSR). VSR consists of a verb and some semantic roles, which represents a targeted activity and the roles of entities involved in this activity. Given a designated VSR, we first train a grounded semantic role labeling (GSRL) model to identify and ground all entities for each role. Then, we propose a semantic structure planner (SSP) to learn human-like descriptive semantic structures. Lastly, we use a role-shift captioning model to generate the captions. Extensive experiments and ablations demonstrate that our framework can achieve better controllability than several strong baselines on two challenging CIC benchmarks. Besides, we can generate multi-level diverse captions easily. The code is available at: https://github.com/mad-red/VSR-guided-CIC.

研究の動機と目的

• 既存の制御可能な画像キャプションにおける目的関数の制御信号の限界を是正すること。特に、イベント適合性とサンプル適合性を保証できない点に起因する。
• 動詞固有意味的役割（VSR）を新たな制御信号として提案し、記述される行動と本質的に適合し、個々の画像サンプルに適した制御信号を提供すること。
• VSR入力から人間らしい意味的構造を学習することで、多様で高品質なキャプションの生成を可能にすること。
• VSRが最先端のベースラインと比較して、キャプション品質と制御性の両方を向上させることを実証すること。
• VSRが多段階のキャプション多様性およびゼロショット構造一般化の可能性を有するかを検討すること。

提案手法

• 動詞と関連する意味的役割（例：主体、場所、道具）を組み合わせた制御信号として、動詞固有意味的役割（VSR）を提案し、記述される出来事と本質的に適合することを保証する。
• VSRに含まれる各意味的役割に対応する視覚的エンティティを特定・局所化するための、接地された意味的役割ラベリング（GSRL）モデルを訓練する。
• VSRと接地された領域から、人間らしい記述構造（例：「主体が場所で動詞を行う」）を学習する意味的構造プランナ（SSP）を設計する。
• VSR、接地された役割、および学習された意味的構造を条件として用いることで、自然なキャプションを生成する役割シフトキャプションモデルを開発する。
• 同じVSRに対してSSPから異なる意味的構造をサンプリングすることで、ビームサーチを用いて複数の多様なキャプションを生成する。
• VSRが内蔵する構造的性質を活用し、訓練データに存在しない役割の組み合わせに対してもゼロショット一般化を可能にし、訓練データにない新たな意味的構造の発見が確認された。

実験結果

リサーチクエスチョン

• RQ1 動詞固有意味的役割に基づく制御信号は、制御可能な画像キャプションにおける生成キャプションのイベント適合性を向上させることができるか？
• RQ2 VSRは、記述される行動が実際に存在する画像に適用可能であるため、サンプル適合性を保証するか？
• RQ3 提案されたフレームワークは、既存のベースラインと比較して、多様で高品質なキャプションを生成できるか？また、精度と制御性の両面で優れているか？
• RQ4 意味的構造プランナ（SSP）は、VSR入力から人間らしい記述文パターンを学習し、一般化できるか？
• RQ5 フレームワークは、訓練データにない役割の組み合わせに対しても一般化可能であり、訓練データに存在しない新たな意味的構造を発見できるか？

主な発見

• 提案されたVSRベースのフレームワークは、COCOエンティティデータセットで267.3のCIDErスコアを達成し、同じ設定下でSCTベースライン（222.5）とBSベースライン（209.5）を大きく上回った。
• 1枚の画像に対して6つの多様なキャプションを生成する状況において、精度ベースの指標（CIDEr: 59.8）もSCTベースライン（55.4）とBSベースライン（52.1）を上回った。
• 意味的構造プランナ（SSP）は、訓練データに存在しない新たな意味的構造を効果的に学習・一般化しており、図6の青いチェックマークで示されたように、元の訓練データにない構造の発見が確認された。
• フレームワークは、やや低いself-CIDErスコア（67.0 vs. SCTの69.1）を示すものの、キャプション品質と多様性の両方を向上させ、ベースラインと比較して品質と多様性のバランスのとれた性能を達成した。
• 図7の可視化結果から、キャプションが与えられたVSRと効果的に整合しており、VSRを変更することで意味的に異なる多様なキャプションが生成されていることが確認された。
• アブレーションスタディの結果、GSRLおよびSSPの両コンponentが高性能を達成するために不可欠であり、いずれかを削除すると性能が著しく低下した。