[論文レビュー] Image Captioning at Will: A Versatile Scheme for Effectively Injecting Sentiments into Image Descriptions

Quanzeng You, Hailin Jin+1 more|arXiv (Cornell University)|Jan 30, 2018

Multimodal Machine Learning Applications参考文献 31被引用数 47

ひとこと要約

本論文は、画像キャプションに感情を注入するエンドツーエンドの2つのモデルを提案し、視覚-意味的整合性を損なうことなく、ポジティブ/ネガティブなキャプションを制御可能にし、従来の感情付きキャプション手法より優れた性能を示す。

ABSTRACT

Automatic image captioning has recently approached human-level performance due to the latest advances in computer vision and natural language understanding. However, most of the current models can only generate plain factual descriptions about the content of a given image. However, for human beings, image caption writing is quite flexible and diverse, where additional language dimensions, such as emotion, humor and language styles, are often incorporated to produce diverse, emotional, or appealing captions. In particular, we are interested in generating sentiment-conveying image descriptions, which has received little attention. The main challenge is how to effectively inject sentiments into the generated captions without altering the semantic matching between the visual content and the generated descriptions. In this work, we propose two different models, which employ different schemes for injecting sentiments into image captions. Compared with the few existing approaches, the proposed models are much simpler and yet more effective. The experimental results show that our model outperform the state-of-the-art models in generating sentimental (i.e., sentiment-bearing) image captions. In addition, we can also easily manipulate the model by assigning different sentiments to the testing image to generate captions with the corresponding sentiments.

研究の動機と目的

• 事実ベースの説明を超えた感情対応型画像キャプションの必要性を動機づける。
• 画像とテキストの整合性を劣化させることなく、キャプション生成に感情を注入するエンドツーエンドのモデルを提案する。
• 明示的な感情ラベルを条件としてキャプションを制御可能にする。
• 感情対応型モデルが感情キャプションタスクで最先端のベースラインを上回ることを示す。

提案手法

• Direct Injection: 毎回の生成ステップでRNN入力に感情ユニット(-1,0,1)を連結して語の選択をバiasする。
• Sentiment Flow: 初期感情信号をLSTMを通じて伝搬する感情セルを導入し、感情損失が最終感情状態を導く。
• MS-COCOとSentiCapデータを用いてエンドツーエンドで訓練し、感情ラベルと任意の感情損失を用いる。
• CNNエンコーダとしてResNet-152を用い、256次元の埋め込みと512次元のRNNを組み合わせ、Adamオプティマイザで訓練。

実験結果

リサーチクエスチョン

• RQ1 感情を画像キャプションに注入しても、画像との意味的対応を維持できるか。
• RQ2 直接注入と感情フローのどちらのアーキテクチャが、制御可能な感情キャプション作成をより良く支援するか。
• RQ3 感情損失を取り入れることで、キャプション列全体にわたる感情の識別と伝播能力が向上するか。
• RQ4 正と負の例にわたり、与えられた感情ラベルに一致するキャプションをモデルがどれだけうまく生成できるか。

主な発見

• 提案された両モデルは、標準指標において感情キャプションのベンチマークで引用ベースラインを上回る。
• Direct Injectionは1ステップあたりの感情信号が強く、感情付きキャプションの割合が高く、特にネガティブなキャプションで顕著。
• Sentiment FlowはPOSとNEGセット across バランスのとれた性能を提供し、いくつかの構成で感情損失の恩恵を受ける。
• これらのモデルは、テスト時に感情ラベルを反転させることで制御可能な生成をサポートし、画像内容全体に分布する一致した感情語を含むキャプションを生み出す。