[論文レビュー] SentiCap: Generating Image Descriptions with Sentiments

A. P. Mathews, Lexing Xie+1 more|arXiv (Cornell University)|Oct 6, 2015

Multimodal Machine Learning Applications参考文献 37被引用数 32

ひとこと要約

SentiCapは、語単位の正則化を施したスイッチング再帰ニューラルネットワークを採用し、たった2,000件以上の感情ラベル付き訓練文のみを用いて、感情的な画像キャプションを生成する。モデルは、肯定的キャプションの88%、否定的キャプションの72%を正しい感情として生成するが、事実ベースのキャプションと比較して84.6%のケースで優れた記述的品質を維持している。

ABSTRACT

The recent progress on image recognition and language modeling is making automatic description of image content a reality. However, stylized, non-factual aspects of the written description are missing from the current systems. One such style is descriptions with emotions, which is commonplace in everyday communication, and influences decision-making and interpersonal relationships. We design a system to describe an image with emotions, and present a model that automatically generates captions with positive or negative sentiments. We propose a novel switching recurrent neural network with word-level regularization, which is able to produce emotional image captions using only 2000+ training sentences containing sentiments. We evaluate the captions with different automatic and crowd-sourcing metrics. Our model compares favourably in common quality metrics for image captioning. In 84.6% of cases the generated positive captions were judged as being at least as descriptive as the factual captions. Of these positive captions 88% were confirmed by the crowd-sourced workers as having the appropriate sentiment.

研究の動機と目的

• 既存の画像キャプション生成システムに感情表現が欠けているという問題に対処する。これらのシステムは通常、事実的な記述のみを生成する。
• 感情ラベル付き訓練データを最小限に抑えた状態で、制御された肯定的または否定的感情を有する画像キャプションを生成する手法を開発する。
• 記述的正確性を損なわずに、感情を自然言語生成に効果的に統合するモデルを設計する。
• 自動評価指標とクラウドソーシングによる評価を併用して、感情認識の正確性と記述的品質の両面でモデルを評価する。

提案手法

• 一般言語モデリング用と感情に敏感なキャプション生成専用の2つの並列LSTMストリームを持つスイッチングRNNアーキテクチャ。
• 感情を表す語（例：Visual SentiBankのANP）を訓練中に強調する、新しい語単位の正則化スキーム。
• 事実ベースのMSCOCO記述を保ちつつ感情を注入するための再ライティングタスクを実施し、2,000件以上の感情ラベル付きキャプションを収集。
• 413,000件のニュートラルキャプションと2,000件以上の感情ラベル付きキャプションを同時に学習させることで、限られたデータから感情に敏感な生成を学習可能にする。
• 画像表現にアテンションメカニズムとCNN特徴量を組み合わせ、文の生成にはLSTMベースの言語モデリングを採用。
• 自動評価指標（例：BLEU、ROUGE）、人間による感情認識評価、ペアドジャッジメントによる記述的品質比較を通じた評価。

実験結果

リサーチクエスチョン

• RQ1 神経的キャプション生成モデルは、わずかに感情ラベル付きデータしか利用しない状況でも、感情表現豊かなキャプションを生成できるか？
• RQ2 語単位の正則化を施したスイッチングRNNアーキテクチャは、画像キャプションに感情語を効果的に挿入できるか？
• RQ3 クラウドワーカーは、生成されたキャプションの感情を事実ベースのキャプションと比較して、正確に認識できるか？
• RQ4 感情生成は、生成キャプションの記述的品質と新規性にどのように影響を与えるか？

主な発見

• SentiCapが生成した肯定的キャプションは、84.6%のケースで事実ベースのキャプションと同等以上に記述的であると評価され、記述的正確性の高さが示された。
• クラウドワーカーによる評価では、88.4%の肯定的キャプションが事実ベースのキャプションよりもより肯定的であると判断され、感情生成の有効性が確認された。
• 否定的キャプションの72.5%が、事実ベースのキャプションよりもより否定的であると認識された。これは、否定的感情の信頼性ある生成を示している。
• SentiCapは95.7%の新規キャプションを生成し、MSCOCOデータのみで学習した標準的なCNN+RNNモデルの38.2%を大きく上回り、一般化性能の向上が示された。
• 3つのベースラインと比較して、感情語の頻度と感情の強度の両面で優れており、正しく配置された感情語の数が最多であった。
• 肯定的キャプションは66.4%のケースで、非感情的なものよりもより興味深いと評価されたが、否定的キャプションは63.2%のケースで、より興味が薄いと感じられた。これは、否定性と興味の間の自然な矛盾を反映している。