[論文レビュー] Keep it Consistent: Topic-Aware Storytelling from an Image Stream via Iterative Multi-agent Communication

Ruize Wang, Zhongyu Wei+6 more|arXiv (Cornell University)|Nov 11, 2019

Multimodal Machine Learning Applications参考文献 40被引用数 5

ひとこと要約

本稿では、反復的マルチエージェント通信を通じてトピック記述生成器とストーリー生成器を共同で訓練することにより、物語の整合性を向上させるトピックに配慮した視覚的ストーリーテリングフレームワークTAVSTを提案する。グローバルな意味的文脈をモデル化し、タスク間での情報共有を可能にすることで、VISTデータセットにおいてトピックの一貫性と人間評価による品質において顕著な向上を達成し、最先端の性能を実現した。

ABSTRACT

Visual storytelling aims to generate a narrative paragraph from a sequence of images automatically. Existing approaches construct text description independently for each image and roughly concatenate them as a story, which leads to the problem of generating semantically incoherent content. In this paper, we propose a new way for visual storytelling by introducing a topic description task to detect the global semantic context of an image stream. A story is then constructed with the guidance of the topic description. In order to combine the two generation tasks, we propose a multi-agent communication framework that regards the topic description generator and the story generator as two agents and learn them simultaneously via iterative updating mechanism. We validate our approach on VIST dataset, where quantitative results, ablations, and human evaluation demonstrate our method's good ability in generating stories with higher quality compared to state-of-the-art methods.

研究の動機と目的

• グローバルな文脈を無視することによって引き起こされる画像ストリームのストーリーテリングにおける意味的非整合性を解消すること。
• 画像シーケンスのグローバルな意味的文脈（トピック）を、ストーリー生成のガイドラインとしてモデル化すること。
• 反復的マルチエージェント通信フレームワークを用いて、トピック記述とストーリー生成を共同で訓練すること。
• 共有された情報交換を通じて、関連性、表現力、トピックの一貫性の面でストーリー品質を向上させること。

提案手法

• フレームワークは、画像特徴を抽出するためのCNNベースの視覚エンコーダを用い、その後に時系列的視覚的文脈をモデル化するbiGRUを適用する。
• トピック記述生成器は、画像シーケンスの視覚的特徴からグローバルなトピックベクトルを生成する。
• ストーリー生成器は、視覚的特徴とトピックベクトルを共同で用いて、共同注意メカニズムを介して初期のストーリー文を構築する。
• 反復的アップデート（IU）モジュールにより、トピック生成器とストーリー生成器の間で双方向のメッセージ伝達が可能となり、複数ラウンドにわたって両方の出力を精緻化する。
• マルチエージェント通信フレームワークにより、両方の生成器が共有された文脈とフィードバックを通じて、相互に改善し合う仕組みが実現される。
• モデルは教師あり学習によりエンドツーエンドで訓練可能であり、さらなる最適化のための強化学習への拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 画像シーケンスのグローバルな意味的文脈をモデル化することで、視覚的ストーリーティングにおける物語の整合性が向上するか？
• RQ2 トピック生成器とストーリー生成器の間での反復的通信は、物語の質をどのように向上させるか？
• RQ3 トピック記述とストーリー生成の共同訓練は、生成されたストーリーにおける意味的非整合性や感情の一貫性の欠如を軽減できるか？
• RQ4 提案されたマルチエージェントフレームワークは、自己回帰的または独立した生成ベースラインと比較して、トピックの一貫性と流れのなめらかさの面でどのように差をつけるか？
• RQ5 トピックのガイダンスは、ベンチマークデータセットにおける人間評価によるストーリー品質をどの程度向上させるか？

主な発見

• 提案されたTAVSTモデルは、VISTデータセットにおいて最先端の性能を達成し、自動評価および人間評価の両方の指標で既存手法を上回った。
• 人間評価の結果、TAVSTが生成するストーリーは、ベースラインモデルと比較して有意に関連性が高く、表現力に富み、トピックの一貫性が優れていることが示された。
• モデルは感情の差を効果的に捉えており、事故シーンに対しては否定的な感情を正しく生成する一方で、喜びの出来事に対しては肯定的な感情を生成する。これに対して、VST や AREL のようなモデルは感情のトーンを区別できない。
• アブレーションスタディの結果、反復的マルチエージェント通信メカニズムが、特にトピックの一貫性向上において不可欠であることが確認された。
• ケーススタディでは、TAVSTがトピックの整合性が強く、全文にわたってトピックが明確に反映されたストーリーを生成していることが示された。
• トピック記述生成器は、解釈可能で意味的に意味のある画像シーケンスの要約を生成し、モデルの解釈可能性を高めるとともに、ストーリー生成を効果的にガイドしている。