[論文レビュー] Visual Storytelling via Predicting Anchor Word Embeddings in the Stories

Bowen Zhang, Hexiang Hu+1 more|arXiv (Cornell University)|Jan 13, 2020

Multimodal Machine Learning Applications参考文献 15被引用数 5

ひとこと要約

この論文では、物語生成をガイドするためのアンカーワード埋め込み（主に名詞）を画像特徴から予測する視覚的物語生成モデル、StoryAnchorを提案する。seq2seqフレームワーク内で予測されたアンカーワード埋め込みと画像特徴を併用することで、強化学習を用いないシンプルな設計であるにもかかわらず、自動評価指標で最先端の性能を達成し、人間評価でも競合モデルを上回る。

ABSTRACT

We propose a learning model for the task of visual storytelling. The main idea is to predict anchor word embeddings from the images and use the embeddings and the image features jointly to generate narrative sentences. We use the embeddings of randomly sampled nouns from the groundtruth stories as the target anchor word embeddings to learn the predictor. To narrate a sequence of images, we use the predicted anchor word embeddings and the image features as the joint input to a seq2seq model. As opposed to state-of-the-art methods, the proposed model is simple in design, easy to optimize, and attains the best results in most automatic evaluation metrics. In human evaluation, the method also outperforms competing methods.

研究の動機と目的

• 単なる画像キャプション生成を越えて、画像シーケンスから一貫性があり物語的要素を含む物語を生成する課題に対処すること。
• 物語の背後にある物語構造を形作る「アンカーワード」（物語における主な意味的要素、例えば名詞）を特定し、それを活用すること。
• アンカーワードの明示的アノテーションが不要な、シンプルでエンドツーエンドの学習モデルを構築すること。
• seq2seqフレームワーク内で予測されたアンカーワード埋め込みと画像特徴を統合することで、物語生成の質を向上させること。
• 強化学習を用いないシンプルなモデル設計が、自動評価および人間評価の両方で複雑なSOTA手法を上回ることを示すこと。

提案手法

• モデルはseq2seqアーキテクチャを採用し、画像特徴と予測されたアンカーワード埋め込みを文生成の入力として連結する。
• アンカーワード埋め込みは、参照物語からの正解名詞をターゲットとして、教師あり学習の設定で画像特徴から予測する。
• 予測器は、固定された単語埋め込みを用いた標準的なエンコーダ・デコーダアーキテクチャでエンドツーエンドに訓練される。
• 名詞はNLTKのPOSタガーを用いて参照物語から抽出され、アンカーワード候補として用いられる。名詞が見つからない場合は'UNK'が使用される。
• 推論時、ビームサイズ3のビームサーチを用いて、画像とアンカーワード埋め込みの両方の特徴から物語文をデコードする。
• モデルはVISTデータセット上で訓練および評価され、BLEU、METEOR、ROUGE、CIDERといった標準指標が使用される。

実験結果

リサーチクエスチョン

• RQ1 画像からアンカーワード埋め込みを予測することで、標準的なseq2seqモデルと比較して視覚的物語生成の性能が向上するか？
• RQ2 参照物語からの正解名詞をアンカーワードのターゲットとして使用することで、より良い物語生成が達成されるか？
• RQ3 強化学習を用いないシンプルなモデル設計が、視覚的物語生成において最先端の結果を達成できるか？
• RQ4 自動評価指標と人間の好みの間にはどの程度の一致があるか？
• RQ5 機械生成物語と人間生成物語の性能格差は、自動指標の結果に現れるか、それとも人間評価に現れるか？

主な発見

• 正解名詞をアンカーワードとして使用した場合、StoryAnchorモデルはBLEU-4（14.7）、METEOR（37.7）、ROUGE（32.3）、CIDER（16.2）といった大多数の自動評価指標で最高の性能を達成した。
• 予測されたアンカーワード埋め込みを使用しても、強力な結果が得られた：BLEU-4は11.9、METEORは34.5、ROUGEは28.9、CIDERは10.1。
• 人間評価では、StoryAnchorが生成した物語がARELの物語よりも、関連性で53.2%、具体性で45.1%、一貫性で48.9%の割合で好まれた。
• 人間の物語は、評価者57.8%の割合で好まれ、自動指標と人間の判断の間には顕著な不一致があることが示された。
• 自動指標では人間の物語（BLEU-4: 5.6）を上回る性能（モデルのBLEU-4: 11.2）を示したが、直接比較では人間の物語が依然として好まれる傾向にあり、評価の整合性に深刻なギャップがあることが浮き彫りになった。
• ARELや強化学習を用いる他のSOTA手法を上回る性能を示しており、このタスクでは単純さが複雑さを上回ることを実証した。