[論文レビュー] What Makes A Good Story? Designing Composite Rewards for Visual Storytelling

Junjie Hu, Yu Cheng+4 more|arXiv (Cornell University)|Sep 11, 2019

Multimodal Machine Learning Applications参考文献 44被引用数 7

ひとこと要約

本稿では、視覚的物語生成のための強化学習フレームワークReCo-RLを提案する。このフレームワークは、人間中心の質的基準である関連性、一貫性、表現力の3つを、複合報酬を用いて最適化する。自動評価指標と人的評価の両方において、BLEU や CIDEr にのみ最適化されたモデルと比較して優れている。ReCo-RLは、より正確で、滑らかで、多様な物語を生成する。

ABSTRACT

Previous storytelling approaches mostly focused on optimizing traditional metrics such as BLEU, ROUGE and CIDEr. In this paper, we re-examine this problem from a different angle, by looking deep into what defines a realistically-natural and topically-coherent story. To this end, we propose three assessment criteria: relevance, coherence and expressiveness, which we observe through empirical analysis could constitute a "high-quality" story to the human eye. Following this quality guideline, we propose a reinforcement learning framework, ReCo-RL, with reward functions designed to capture the essence of these quality criteria. Experiments on the Visual Storytelling Dataset (VIST) with both automatic and human evaluations demonstrate that our ReCo-RL model achieves better performance than state-of-the-art baselines on both traditional metrics and the proposed new criteria.

研究の動機と目的

• 人間の視点から高品質な物語を定義する3つの主要な質的次元、すなわち関連性、一貫性、表現力を特定・形式化すること。
• BLEU や CIDEr といった自動指標のみに最適化する既存の視覚的物語生成モデルの限界に対処すること。これらの指標は、人間が感じる物語の質を十分に捉えていないことがある。
• 関連性、一貫性、表現力を明示的に促進する複合報酬関数を用いて、意味的に関連性があり、一貫性があり、表現力のある物語の生成を促す強化学習フレームワークを設計すること。
• 人間の価値基準に沿った質的基準に最適化することで、自動評価と人的評価の両方のベンチマークで優れたパフォーマンスが得られることを実証すること。

提案手法

• ReCo-RLフレームワークは二段階アーキテクチャを採用する。上位レベルのマネージャーが視覚的文脈と物語の流れを要約するゴールベクトルを生成し、下位レベルのワーカーがマネージャーのゴールに基づいて文単位で記述を生成する。
• 関連性は、画像に存在する細分化された視覚的コンセプトを含む生成文に対して高いスコアを割り当てる報酬関数で測定される。
• 一貫性は、直前の文を前提として文の文法的・論理的整合性を評価する事前に訓練された言語モデルを用いてスコア付けされ、論理的で文法的な連続性を促進する。
• 表現力は、連続する文間のフレーズオーバーラップペナルティを用いて促進され、繰り返しや冗長な表現を避ける。
• 複合報酬は集約され、REINFORCE方策勾配アルゴリズムを用いてモデルの学習に使用される。
• モデルは、視覚的物語データセット（VIST）上で学習・評価され、自動指標と人的評価の両方が用いられる。

実験結果

リサーチクエスチョン

• RQ1 標準的な自動指標とは異なる、人間の視点から高品質な物語を定義する質的次元は何か？
• RQ2 関連性、一貫性、表現力を明示的に最適化する強化学習フレームワークは、BLEU や CIDEr といった標準指標に最適化されたモデルを上回ることができるか？
• RQ3 関連性、一貫性、表現力を根拠とする複合報酬は、強力なベースラインと比較して、物語生成の質をどの程度向上させるか？
• RQ4 提案された報酬成分は、個別および総合的に、人間が好む物語の生成にどの程度寄与するか？

主な発見

• ペア比較t検定（p < 0.05）の結果、ReCo-RLは、関連性、一貫性、表現力の3つの質的次元において、BLEU-RL、AREL、HSRL よりも有意に高い人的好みスコアを達成した。
• モデルは、関連性スコア37.10（BLEU-RLの2.47対比）、表現力スコア41.71（BLEU-RLの11.06対比）、一貫性スコア16.99（BLEU-RLの3.32対比）を達成し、質的基準における顕著な向上を示した。
• 人的評価では、ReCo-RLは『看板』『旗』『食事』『飲み物』といった具体的な視覚的コンセプトを多く含む物語を生成し、BLEU-RLなどのベースラインモデルが抱える問題である『素晴らしい時間』や『そこにはたくさんの人がいた』といった繰り返しパターンを避けていた。
• 定性的分析により、ReCo-RLは文間でトピックの一貫性と意味的連続性を維持しており、ベースラインモデルで見られる急な主語の変更や断片的な内容の不整合を回避していることが確認された。
• モデルの複合報酬設計により、人間の判断とより良い一致が図られており、ターカーによるペア比較投票の結果からその妥当性が裏付けられた。
• BLEU-RLでBLEUスコアを合わせるために微調整を行ったにもかかわらず、ReCo-RLは人的評価の全次元で上回った。これは、自動指標最適化が人間の質の出力に必ずしもつながるわけではないことを示している。