[論文レビュー] SemStyle: Learning to Generate Stylised Image Captions using Unaligned Text

A. P. Mathews, Lexing Xie+1 more|arXiv (Cornell University)|May 18, 2018

Multimodal Machine Learning Applications参考文献 48被引用数 19

ひとこと要約

SemStyle は、対応のないテキストを用いて視覚的に根拠のあるスタイル付き画像キャプションを生成するための新しいフレームワークを提案する。意味的コンテンツと言語的スタイルを分離することで、記述的でスタイル変更可能なキャプションを生成する。フレーム意味論的用語表現と統合的言語生成器を用い、58.8% のスタイルの特徴性と人間評価で 41.9% の物語的キャプションを達成し、意味的保持性も優れている（SPICE 0.144）。

ABSTRACT

Linguistic style is an essential part of written communication, with the power to affect both clarity and attractiveness. With recent advances in vision and language, we can start to tackle the problem of generating image captions that are both visually grounded and appropriately styled. Existing approaches either require styled training captions aligned to images or generate captions with low relevance. We develop a model that learns to generate visually relevant styled captions from a large corpus of styled text without aligned images. The core idea of this model, called SemStyle, is to separate semantics and style. One key component is a novel and concise semantic term representation generated using natural language processing techniques and frame semantics. In addition, we develop a unified language model that decodes sentences with diverse word choices and syntax for different styles. Evaluations, both automatic and manual, show captions from SemStyle preserve image semantics, are descriptive, and are style shifted. More broadly, this work provides possibilities to learn richer image descriptions from the plethora of linguistic data available on the web.

研究の動機と目的

• 対応画像キャプションデータセットを必要とせずに、視覚的に関連のあるスタイル付き画像キャプションを生成すること。
• 画像キャプション生成において意味的コンテンツと言語的スタイルを効果的に分離し、柔軟性と制御性を高めること。
• 大規模な対応のないスタイル付きテキスト（例：ロマンス小説）を活用して、画像との対応なしに多様な文体を学習すること。
• 第一人称、フォーマル、物語的トーンなど、スタイルの変化を可能にしつつも、高い意味的関連性を維持すること。
• 記述的およびスタイル付きコーパスを統合的に訓練する戦略を構築し、キャプション品質とスタイルの正確性を向上させること。

提案手法

• 意味的コンテンツとスタイルの分離を実現するため、品詞（POS）タグを付与した語の原形化と FrameNet を用いた動詞の一般化を組み合わせた新しい意味的用語表現を導入する。
• 画像キャプションペアで訓練されたニューラルネットワークベースの用語生成器を用い、画像から要約的な意味的用語の集合を抽出する。
• ターゲットスタイルに条件づけられた統合的言語生成器を用い、意味的用語を流暢でスタイル多様な文に変換する。
• 対応のない画像キャプションペアが不要なスタイル転送を学習するため、記述的（MSCOCO）およびスタイル付き（ロマンス小説）コーパスの両方で言語生成器を訓練する。
• 複数のデータセットを統合的に訓練することで、推論時にすべてのソースからの意味的用語にアクセス可能にし、関連性を向上させる。
• 訓練および評価段階でスタイル正確性とコンテンツ関連性を評価するために、スタイル分類器（CLF）と自動評価指標（LM、GRULM）を用いる。

実験結果

リサーチクエスチョン

• RQ1 対応のないスタイル付きテキストと画像データのみを用いて、多様なスタイルの視覚的に根拠のあるキャプションを生成できるか？
• RQ2 画像キャプション生成において、意味的コンテンツと言語的スタイルを効果的に分離する方法は何か？ これにより柔軟なスタイル転送が可能になるか？
• RQ3 対応のない画像キャプションアノテーションが存在する状況で、言語生成器が物語的、第一人称、フォーマルなスタイルをどれほど効果的に学習できるか？
• RQ4 意味的用語生成とスタイルデコードを分離することで、エンドツーエンドモデルに比べて意味的関連性とスタイルの多様性が向上するか？
• RQ5 記述的およびスタイル付きコーパスを統合的に訓練することで、関連性を向上させつつスタイルの正確性を維持できるか？

主な発見

• SemStyle は人間評価で 58.8% のスタイルの特徴性を達成し、多様なスタイルにおいて強いスタイル制御が可能であることが示された。
• モデルは 41.9% のキャプションが物語的であると評価され、ベースラインモデル（CNN+RNN-coco：6.2%）や neural-storyteller（52.6% だが関連のないキャプションが 44.2%）に比べ顕著に優れた性能を示した。
• SemStyle は SPICE スコア 0.144 という高い意味的関連性を維持しており、記述的ベースライン（SPICE 0.144）と同等であり、TermRetrieval（SPICE 0.134） や neural-storyteller（SPICE 0.120） よりも顕著に優れていた。
• 意味的用語をランダムに並び替えた場合（SPICE 0.134）や、FrameNet/POS/lemmatization を除去した場合にモデル性能が低下したため、これらがスタイルとコンテンツの分離に果たす役割が裏付けられた。
• MSCOCO とロマンス小説コーパスの両方で訓練した場合（SPICE 0.144）は、ロマンス小説コーパスでのみ訓練した場合（SPICE 0.138）に比べ関連性が向上した。これは、統合的データ利用の利点を示している。
• 自動スタイル指標（CLF、LM、GRULM）と人間評価との間の Kendall’s τ 相関係数は 0.434（CLF）であり、人間のスタイル認識と中程度から強い一致を示している。