[論文レビュー] Using Inter-Sentence Diverse Beam Search to Reduce Redundancy in Visual Storytelling

Chao-Chun Hsu, Szu-Min Chen+2 more|arXiv (Cornell University)|May 30, 2018

Multimodal Machine Learning Applications参考文献 8被引用数 19

ひとこと要約

本論文では、生成された文の間で語の再利用を罰則化することで、視覚的ストーリーテリングにおける冗長性を低減する、文間多様性を考慮したビームサーチの改良手法を提案する。以前に生成された文に基づく多様性ペナルティを組み込むことで、モデルは物語の表現力を向上させ、VISTデータセット上で最大METEORスコアを29.3%から31.7%に向上させた。

ABSTRACT

Visual storytelling includes two important parts: coherence between the story and images as well as the story structure. For image to text neural network models, similar images in the sequence would provide close information for story generator to obtain almost identical sentence. However, repeatedly narrating same objects or events will undermine a good story structure. In this paper, we proposed an inter-sentence diverse beam search to generate a more expressive story. Comparing to some recent models of visual storytelling task, which generate story without considering the generated sentence of the previous picture, our proposed method can avoid generating identical sentence even given a sequence of similar pictures.

研究の動機と目的

• 同じ画像が連続するようなシーケンスにおいて、繰り返しの多い文の生成という問題に対処すること。
• デコード中に以前に生成された文を考慮することで、物語の多様性と表現力を向上させること。
• ベースラインのビームサーチを上回る、文の整合性と創造性を向上させる神経的画像対テキスト生成の手法を提案すること。
• 入力画像が視覚的に類似している場合でも、物語の質を損なう繰り返し表現に依存しないようにすること。
• タスク固有の微調整を必要とせず、文の流暢さと多様性のバランスを取るデコーディング戦略を開発すること。

提案手法

• スコア関数を変更し、過去の文に頻出する語を罰則化することで、ビームサーチに文間多様性を組み込む。
• 以前に生成された文の袋の語表現を用いて多様性ペナルティを計算する。
• ハミングに基づく多様性関数Δを導入し、過去の文におけるトークンの頻度に応じてペナルティを課す。
• 多様性と流暢さのバランスを取るために、多様性強度のハイパーパrameter λを導入し、実験では2に設定した。
• 画像エンコーディングにResNet-152、文脈に配慮した画像シーケンスモデリングに双方向GRUを用いたベースラインエンコーダーデコーダーモデルに、この手法を統合する。
• 訓練の安定性と性能向上のため、画像と語の埋め込みを連結してデコーダーGRUの入力とする。

実験結果

リサーチクエスチョン

• RQ1 デコード段階での文間多様性を考慮することで、文の繰り返しを低減しつつ、文の流暢さを損なわずに済むか？
• RQ2 標準的ビームサーチおよび文内多様性ビームサーチと比較して、文間多様性ビームサーチはどれほど冗長性を低減できるか？
• RQ3 提案手法は、視覚的ストーリーティングにおける自動評価指標（例：METEOR）をどの程度向上させるか？
• RQ4 この手法は、ベースラインモデルと比較してより表現的で人間らしい物語を生成するか？
• RQ5 物語生成において、多様性と尤度の最適なバランスは何か？ そして、それを自動化する方法はあるか？

主な発見

• 提案手法の文間多様性ビームサーチにより、VISTデータセット上での最大METEORスコアが29.3%から31.7%に向上し、人間の基準物語との整合性が向上したことが示された。
• 本手法は、同じ画像を処理する際によく見られる繰り返し表現（例：「we had a great time」の繰り返し）を効果的に低減した。
• 定性的な比較（表2）により、提案手法で生成された物語は語彙の多様性と物語のバリエーションに優れていた。
• λ = 2 としたハミング多様性ペナルティが最適な結果をもたらし、多様性と流暢さのバランスを良好に保った。
• ベースモデルのアーキテクチャを変更せず、プラグイン型のデコーディング強化として成功した。
• 文内多様性の考慮にとどまらず、文間多様性に焦点を当てた本手法は、標準的ビームサーチおよび先行の多様性ビームサーチの変種を上回った。