[論文レビュー] Contextualize, Show and Tell: A Neural Visual Storyteller

Diana Gonzalez-Rico, Gibrán Fuentes-Pineda|arXiv (Cornell University)|Jun 3, 2018

Multimodal Machine Learning Applications参考文献 8被引用数 29

ひとこと要約

この論文では、VinyalsらのShow and Tellモデルを拡張し、画像系列を要約するコンテキストエンコードLSTMと、個々の画像埋め込みに条件づけられた複数の独立したデコーダーを用いたニューラルビジョナルストーリーテラーを提案する。モデルはVisual Storytelling Challenge 2018で競争力のあるMETEORスコアと強力な人間評価結果を達成し、ベースライン手法に比べて物語の整合性と構造が向上していることを示した。

ABSTRACT

We present a neural model for generating short stories from image sequences, which extends the image description model by Vinyals et al. (Vinyals et al., 2015). This extension relies on an encoder LSTM to compute a context vector of each story from the image sequence. This context vector is used as the first state of multiple independent decoder LSTMs, each of which generates the portion of the story corresponding to each image in the sequence by taking the image embedding as the first input. Our model showed competitive results with the METEOR metric and human ratings in the internal track of the Visual Storytelling Challenge 2018.

研究の動機と目的

• 5枚の画像系列から一貫性があり物語中心のストーリーを生成すること。単純な画像キャプション生成を越えること。
• 画像系列全体にわたる物語の整合性と物語進行の維持という課題に取り組むこと。
• 物語生成においてグローバルなコンテキストとローカルな画像固有の情報を統合することで、既存の画像記述モデルを改善すること。
• Visual Storytelling Challenge 2018における自動評価指標と人間評価で競争力のある性能を達成すること。

提案手法

• エンコーダーLSTMが画像系列を段階的に処理し、全系列を要約するコンテキストベクトルを生成する。
• エンコーダーLSTMの最終隠れ状態が、5つの独立したデコーダーLSTMの初期隠れ状態として使用される。
• 各デコーダーは、対応する画像の埋め込み（Inception V3を用いて）と共有されたコンテキストベクトルに条件づけられ、ストーリー断を生成する。
• 単語埋め込みはword2vecを用いて学習され、最終的なストーリーは全5つのデコーダー出力の連結によって構成される。
• 共有コンテキストを持つが、各画像位置ごとに独立したデコーダーを持つseq2seqアーキテクチャを採用する。
• このアーキテクチャにより、各デコーダーは物語内の位置に特化した言語モデル（例：冒頭文、終りの文）を学習できる。

実験結果

リサーチクエスチョン

• RQ1 コンテキストエンコードエンコーダーと複数のデコーダーを用いることで、単一デコーダー手法に比べ、視覚的ストーリー生成における物語の整合性が向上するか？
• RQ2 画像系列で学習したモデルは、視覚的に根拠のある一方で構造的に整合性のあるストーリーをどれほど効果的に生成できるか？
• RQ3 位置固有のデコーダーと共有コンテキストベクトルを組み合わせることで、一般的なseq2seqアプローチに比べ、ストーリー品質がどの程度向上するか？
• RQ4 自動評価指標（例：METEOR）と人間評価スコアは、視覚的ストーリーティングにおけるストーリー品質とどの程度相関しているか？

主な発見

• 本モデルは、VIST 2018チャレンジの公開テストセットでMETEORスコア0.3088、非公開テストセットで0.3100を達成した。
• 人間評価では、合計スコア23.596中18.498を獲得し、整合性、焦点、人間らしい表現の面で優れたパフォーマンスを示した。
• ベースラインモデルに比べ、METEORとBLEU-3指標で優れたスコアを記録。METEORスコアはHuangらの31.4、Yuらの34.1に比べ34.4を達成した。
• 自動評価スコアは高くても、人間評価では視覚的根拠付けと詳細の欠如が問題となっており、それぞれ2.886および2.893のスコアとなった。
• 文法的に正しい一貫性のあるストーリーを生成できたが、一部の出力には繰り返しの表現や一般的な内容（例：「これは店の写真です」）が含まれていた。
• 全体的なパフォーマンスは競争的であったが、ROUGEおよびCIDEr指標においてYuらのモデルに劣っており、流暢さと語彙の多様性の面で改善の余地があることが示された。