[論文レビュー] Towards Coherent Visual Storytelling with Ordered Image Attention

Tom Braude, Idan Schwartz+2 more|arXiv (Cornell University)|Aug 4, 2021

Multimodal Machine Learning Applications参考文献 43被引用数 4

ひとこと要約

本稿では、視覚的物語作成のための順序に配慮した画像注意（OIA）を提案する。OIAは、順序に配慮した表現集約を通じて画像間の相互作用をモデル化し、物語の整合性を向上させる。OIAを画像文注意（ISA）および適応的事前分布と組み合わせることで、VISTでMETEORスコアを1%向上させ、人的評価においても物語の整合性、焦点、画像への根拠づけが優れていることを示した。

ABSTRACT

We address the problem of visual storytelling, i.e., generating a story for a given sequence of images. While each sentence of the story should describe a corresponding image, a coherent story also needs to be consistent and relate to both future and past images. To achieve this we develop ordered image attention (OIA). OIA models interactions between the sentence-corresponding image and important regions in other images of the sequence. To highlight the important objects, a message-passing-like algorithm collects representations of those objects in an order-aware manner. To generate the story's sentences, we then highlight important image attention vectors with an Image-Sentence Attention (ISA). Further, to alleviate common linguistic mistakes like repetitiveness, we introduce an adaptive prior. The obtained results improve the METEOR score on the VIST dataset by 1%. In addition, an extensive human study verifies coherency improvements and shows that OIA and ISA generated stories are more focused, shareable, and image-grounded.

研究の動機と目的

• 直前の文と画像の対応を超えて、画像間の依存関係をモデル化することで、視覚的物語作成における物語の整合性を向上させること。
• 適応的事前分布機構を用いて、反復的な言語的問題を解消すること。
• 順序に配慮した方法で、シーケンス全体にわたる顕著な画像領域に注目することで、注目メカニズムを強化すること。
• 改善された注目メカニズムと言語モデリングにより、より画像に根拠づけられ、共有しやすい物語を生成すること。

提案手法

• OIAは、メッセージパッシングに類似したアルゴリズムを用い、シーケンス内の画像間で重要なオブジェクトの表現を集約・伝達し、時間的順序を保持する。
• 画像文注意（ISA）は、各文に対して関連する画像領域を強調することで、現在の画像および文脈的に関連する画像との整合性を確保する。
• 適応的事前分布は、頻度が低いか情報量の多いトークンに注目を動的に調整することで、反復的な言語を低減する。
• モデルはOIAとISAをシーケンス・トゥ・シーケンス生成フレームワークに統合し、文脈に配慮した物語生成を可能にする。
• アーキテクチャはVISTデータセット上でエンド・トゥ・エンドに訓練され、整合性と根拠づけの自動指標および人的評価が用いられる。

実験結果

リサーチクエスチョン

• RQ1 画像間の依存関係をモデル化することで、視覚的物語作成における物語の整合性が向上するか？
• RQ2 順序に配慮した表現集約は、生成された物語の質と焦点にどのような影響を及ぼすか？
• RQ3 適応的事前分布は、物語生成における言語の反復をどの程度低減できるか？
• RQ4 OIAとISAは、画像に根拠づけられた物語を生成する際、標準的な注目メカニズムと比べてどのように異なるか？

主な発見

• 本モデルは、ベースライン手法と比較してVISTデータセットのMETEORスコアを1%向上させた。
• 人的評価により、OIAとISAを用いて生成された物語は、より整合的で、焦点が明確で、画像に根拠づけられていることが確認された。
• 提案手法で生成された物語は、ベースラインモデルの物語よりも共有されやすいと評価された。
• 適応的事前分布は、反復的な言語を効果的に低減し、より多様で自然な響きの物語を生成する要因となった。
• OIAにより、画像間の長距離依存関係のモデル化が向上し、物語の一貫性が強化された。