[論文レビュー] "Factual" or "Emotional": Stylized Image Captioning with Adaptive Learning and Attention

Tianlang Chen, Zhongping Zhang+5 more|arXiv (Cornell University)|Jul 10, 2018

Multimodal Machine Learning Applications参考文献 47被引用数 9

ひとこと要約

本稿では、新規のスタイル・ファクチュアルLSTMと適応的アテンション、リファレンス駆動の適応的学習戦略を用いて、事実的および感情的スタイル生成を統合するスタイル化された画像キャプション生成モデルを提案する。本モデルは、画像-キャプションペア以外に追加の正例アノテーションを必要とせず、ユーモラス／ロマンチックおよびポジティブ／ネガティブキャプションベンチマークの両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

Generating stylized captions for an image is an emerging topic in image captioning. Given an image as input, it requires the system to generate a caption that has a specific style (e.g., humorous, romantic, positive, and negative) while describing the image content semantically accurately. In this paper, we propose a novel stylized image captioning model that effectively takes both requirements into consideration. To this end, we first devise a new variant of LSTM, named style-factual LSTM, as the building block of our model. It uses two groups of matrices to capture the factual and stylized knowledge, respectively, and automatically learns the word-level weights of the two groups based on previous context. In addition, when we train the model to capture stylized elements, we propose an adaptive learning approach based on a reference factual model, it provides factual knowledge to the model as the model learns from stylized caption labels, and can adaptively compute how much information to supply at each time step. We evaluate our model on two stylized image captioning datasets, which contain humorous/romantic captions and positive/negative captions, respectively. Experiments shows that our proposed model outperforms the state-of-the-art approaches, without using extra ground truth supervision.

研究の動機と目的

• 意味的に正確で、かつスタイルに適った（例：ユーモラス、ロマンチック、ポジティブ、ネガティブな）高品質なスタイル化された画像キャプションを生成すること。
• 画像キャプション生成における事実的正確性とスタイル表現のバランスをとる課題に対処すること。
• 追加のアノテーション（例：感情強度など）に依存せずに、事実的知識を保持しつつ、スタイル化されたキャプションラベルから学習する手法を開発すること。
• 文脈に応じて、事実的またはスタイル化されたコンポーネントに動的にアテンションを向けることで、生成品質を向上させること。

提案手法

• 事実的知識とスタイル化された知識を別々にエンコードする2つの独立した行列群を用いるスタイル・ファクチュアルLSTMを提案。各時刻でこれらのコンポーネントに対するアテンション重みを付与する。
• 事前に訓練された事実的キャプション生成モデルをリファレンスとして用い、学習をガイドする適応的学習メカニズムを導入。各ステップでどの程度事実的知識を組み込むかを動的に調整する。
• 類似度に基づく損失関数を採用。モデルの予測をリファレンスモデルの出力と一致させることで、スタイル化されたキャプション生成中に事実的整合性を保証する。
• 隠れ状態の文脈に基づいて、事実的およびスタイル化されたコンポーネント間の動的アテンション重みを自己アテンションで計算。文脈に応じたスタイル切り替えを可能にする。
• 画像-キャプションペアのみを用いてエンドツーエンドで訓練。単語レベルの感情スコアなどの追加アノテーションに依存しない。
• 視覚的特徴に注目するアテンションメカニズムを適用。これにより、事実的およびスタイル化された言語コンポーネントと一致させる。

実験結果

リサーチクエスチョン

• RQ1 追加の監視情報なしに、統合されたモデルが事実的正確性とスタイル表現の両方を効果的にバランスできるか？
• RQ2 文脈に応じて、生成過程で事実的コンポーネントとスタイル化コンポーネントのどちらにアテンションを向けるかを動的に制御できるか？
• RQ3 リファレンスとしての事実的モデルは、スタイル化キャプションの学習中に事実的コンテンツの保持を効果的に改善できるか？
• RQ4 事実的知識を適応的に統合することで、スタイル化キャプションベンチマークでの性能が向上するか？

主な発見

• 提案手法は、ユーモラス／ロマンチックおよびポジティブ／ネガティブスタイル化キャプションデータセットの両方で最先端の性能を達成。追加のアノテーションを一切使用せず、既存手法を上回る。
• 感情キャプションデータセットでは、ネガティブセットでBLEU-1/2/3/4スコアが50.5/31.0/20.1/13.3、ポジティブセットで50.3/31.0/20.1/13.3を達成。Senticapおよび他のベースラインを上回った。
• ポジティブセットでCIDErスコア60.0、ネガティブセットで59.7を達成。Senticap（それぞれ54.4および61.8）および他のベースラインを顕著に上回った。
• 可視化結果から、モデルが自動的に事実的およびスタイル化コンポーネントを区別でき、アテンション重みが文脈に適切に適応していることが確認された。
• 適応的学習メカニズムにより、スタイル化キャプションの学習中に事実的コンテンツが効果的に保持され、リファレンスモデルとのアテンション整合性が向上した。