[論文レビュー] Induction and Reference of Entities in a Visual Story

Ruo-Ping Dong, Khyathi Raghavi Chandu+1 more|arXiv (Cornell University)|Sep 15, 2019

Multimodal Machine Learning Applications参考文献 27被引用数 7

ひとこと要約

本論文は、視覚的ストーリーテリングのためのグローカル階層的アテンションモデルを提案し、物語生成中にエンティティスケルトン（名前付きエンティティおよび共参照の連鎖）を強制することで、一貫性を向上させている。局所的（単語レベル）およびグローバル（文レベル）の両方のアテンションでエンティティスケルトンを統合することにより、より自然で代名詞を多く含む物語を生成し、METEORスコアでベースラインを上回り、82%の割合で人間の好みを上回っている。

ABSTRACT

We are enveloped by stories of visual interpretations in our everyday lives. The way we narrate a story often comprises of two stages, which are, forming a central mind map of entities and then weaving a story around them. A contributing factor to coherence is not just basing the story on these entities but also, referring to them using appropriate terms to avoid repetition. In this paper, we address these two stages of introducing the right entities at seemingly reasonable junctures and also referring them coherently in the context of visual storytelling. The building blocks of the central mind map, also known as entity skeleton are entity chains including nominal and coreference expressions. This entity skeleton is also represented in different levels of abstractions to compose a generalized frame to weave the story. We build upon an encoder-decoder framework to penalize the model when the decoded story does not adhere to this entity skeleton. We establish a strong baseline for skeleton informed generation and then extend this to have the capability of multitasking by predicting the skeleton in addition to generating the story. Finally, we build upon this model and propose a glocal hierarchical attention model that attends to the skeleton both at the sentence (local) and the story (global) levels. We observe that our proposed models outperform the baseline in terms of automatic evaluation metric, METEOR. We perform various analysis targeted to evaluate the performance of our task of enforcing the entity skeleton such as the number and diversity of the entities generated. We also conduct human evaluation from which it is concluded that the visual stories generated by our model are preferred 82% of the times. In addition, we show that our glocal hierarchical attention model improves coherence by introducing more pronouns as required by the presence of nouns.

研究の動機と目的

• 人間の物語計画にインspiredされ、視覚的ストーリーテリングにおける一貫性のあるエンティティの導入と参照の課題に対処すること。
• 物語生成の前段階として、エンティティの中心となるマップ（「エンティティスケルトン」）を形成するプロセスをモデル化すること。
• エンティティが適切なタイミングで導入され、代名詞や共参照によって参照されるようにすることで、物語の一貫性を向上させること。
• アテンション機構を用いたシーケンス・トゥ・シーケンス生成にエンティティスケルトンを統合するフレームワークを開発すること。
• スキーマにインスパイアされた生成が、標準ベースラインと比較してより自然で人間が好む物語をもたらすかどうかを評価すること。

提案手法

• オフザシェルフのNLPツールを用いて画像キャプションからエンティティスケルトンを抽出し、表面的、名詞化、抽象的の3段階の抽象レベルで表現する。
• エンティティスケルトンを監視として使用しない強力なベースラインモデルを視覚的ストーリーテリング用に構築する。
• マルチタスク化を適用して、エンティティスケルトンの予測と物語生成を同時に最適化し、スケルトンとの整合性を促進する。
• デコード中に、語彙レベル（局所的）および文レベル（グローバル）の両方でエンティティスケルトンに注目するグローバル・ハイアラルチカルアテンション機構を提案する。
• 訓練中に生成された物語が抽出されたエンティティスケルトンから逸脱する場合にペナルティを与えるため、適合を促す損失関数を用いる。
• アテンションマップを可視化し、特に代名詞や共参照に対して、モデルが文間をまたがってエンティティの連鎖にどのように注目しているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 物語生成中にエンティティスケルトンを強制することで、視覚的ストーリーティングにおける一貫性と自然さが向上するか？
• RQ2 局所的およびグローバル両レベルでエンティティスケルトンに注目するグローバル・ハイアラルチカルアテンション機構は、より良い代名詞使用とエンティティ参照をもたらすか？
• RQ3 スキーマにインスパイアされたモデルの性能は、自動評価および人間評価において標準ベースラインと比較してどうなるか？
• RQ4 エンティティスケルトン表現の異なる形態（表面的、名詞化、抽象的）が、物語生成の質にどの程度影響を与えるか？
• RQ5 モデルは、名詞および代名詞の頻度という点で、人間が書いた物語に近いエンティティ分布を持つ物語を生成できるか？

主な発見

• グローバル・ハイアラルチカルアテンションモデルは、ベースラインモデルに対して82%の高い人間の好みを得ており、物語の質と一貫性が優れていることを示している。
• モデルはベースラインより約3 METEORポイント高いスコアを達成し、自動評価スコアの向上を示している。
• グローバルモデルは、人間が書いた物語の分布に近いエンティティ参照（特に代名詞）の分布を生成しており、共参照処理の能力が向上していることを示している。
• 複数の関連するエンティティチェーンを持つより一貫性のある物語を生成しており、文間をまたがる共参照語に高いアテンション重みが集中していることから裏付けられている。
• エンティティスケルトン表現は、モデルが適切なタイミングにエンティティを導入し、参照する能力を著しく向上させ、冗長性や繰り返しを低減した。
• 人間評価では、繰り返しの名詞の代わりに代名詞が使われることで、より魅力的で没入感のある物語になることが確認されており、モデルの設計選択を支持している。