[論文レビュー] Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation

Qiuyuan Huang, Zhe Gan+4 more|arXiv (Cornell University)|May 21, 2018

Multimodal Machine Learning Applications参考文献 47被引用数 21

ひとこと要約

本稿では、画像系列からの物語生成において、上位レベルの「マネージャー」が各画像のトピックを計画し、下位レベルの「ワーカー」がそのトピックを条件として文を生成する2段階のデコーダーを用いる階層的強化学習（HSRL）モデルを提案する。このモデルは、VISTデータセットにおける自動評価および人的評価を通じて、平坦な強化学習ベースラインと比較して物語の質と一貫性が著しく向上することを実証した。

ABSTRACT

We propose a hierarchically structured reinforcement learning approach to address the challenges of planning for generating coherent multi-sentence stories for the visual storytelling task. Within our framework, the task of generating a story given a sequence of images is divided across a two-level hierarchical decoder. The high-level decoder constructs a plan by generating a semantic concept (i.e., topic) for each image in sequence. The low-level decoder generates a sentence for each image using a semantic compositional network, which effectively grounds the sentence generation conditioned on the topic. The two decoders are jointly trained end-to-end using reinforcement learning. We evaluate our model on the visual storytelling (VIST) dataset. Empirical results from both automatic and human evaluations demonstrate that the proposed hierarchically structured reinforced training achieves significantly better performance compared to a strong flat deep reinforcement learning baseline.

研究の動機と目的

• 画像系列から主題的の一貫性を持つ長文物語を生成する課題に対処すること。
• 標準的なシーケンス・ツー・シーケンスモデルやMLE学習の限界を克服すること。これらは露出バイアスに苦しんでおり、物語の一貫性の最適化が不十分である。
• 文の生成の前に高レベルのトピックを計画する2段階の階層的構造を導入することで、物語生成を改善すること。
• タスク固有の報酬に整合するように、最大尤度推定（MLE）と自己批判的強化学習（SCRL）の混合損失を用いて、上位レベルおよび下位レベルのデコーダーを共同で学習すること。
• 階層的計画が物語の質を向上させるとともに、繰り返しを減らす効果があることを示すこと。

提案手法

• モデルは2段階の階層的デコーダーを用いる：上位レベルのLSTMベースの「マネージャー」が、画像系列の各画像に対して意味的トピック（中間目標）の系列を生成する。
• 下位レベルの「ワーカー」は、画像特徴量とマネージャーからのトピックを条件として文を生成する意味的構成ネットワーク（SCN）である。
• 2つのデコーダーは、BLEU や CIDERr などのメトリクスから得られるグローバル報酬を用いて、最大尤度推定（MLE）と自己批判的強化学習（SCRL）の組み合わせにより共同で学習される。
• 学習プロセスでは、MLEフェーズでは教師強制を活用し、物語の一貫性を最適化するために報酬形状付きのポリシー勾配法を用いる。
• 階層的構造により、各文が計画されたトピックに根ざすことで、一貫した物語の筋が保たれる。
• フレームワークはVISTデータセットで評価され、一貫性、関連性、表現力の観点から自動評価と人的評価が実施された。

実験結果

リサーチクエスチョン

• RQ1 平坦なシーケンス・ツー・シーケンスモデルと比較して、2段階の階層的強化学習フレームワークは、視覚的物語のトピックの一貫性を向上させることができるか？
• RQ2 トピック計画のマネージャーと文生成のワーカーを同時に学習させることで、逐次的または独立した学習に比べて物語の質が向上するか？
• RQ3 階層的計画は、生成された物語における繰り返しをどの程度軽減し、多様性を向上させるか？
• RQ4 MLEおよび平坦なRLベースラインと比較して、人間評価指標（関連性、表現力、具体性）において、本モデルはどの程度の性能を示すか？
• RQ5 グローバル報酬信号を効果的に活用することで、より詳細で感情的な物語を生成できるか？

主な発見

• 人的評価において、HSRLモデルはMLEおよび平坦なRLベースラインを著しく上回り、関連性で63.93%、表現力で62.53%、具体性で62.47%のペairワイズ比較で勝利した。
• 正解に近さの評価では、HSRLが55.87%の票を獲得したのに対し、RLベースラインは34.53%、MLEはたったの9.60%にとどまり、人間がアノテートした物語との整合性が優れていることが示された。
• 繰り返し率が低く、文ごとの語彙の多様性が豊かであるため、生成された文がより多様で繰り返しの少ないものであることが裏付けられた。
• HSRLが生成した物語には、『happy』『excited』『fun』などの感情的で描写的な語彙が著しく多く含まれており、それぞれ1137回、678回、316回出現した。これに対して、RLベースラインでは410回、138回、291回にとどまった。
• 『装飾されたライトで飾られた』や『ケーキを切った』といった顕著な視覚的詳細を効果的に捉えており、これらは通常のベースラインモデルが見逃すことが多い。
• マネージャーとワーカーの共同学習は、逐次的学習よりも優れた性能を発揮した。共同設定により、両方のモジュールが教師強制の監督と共有の報酬信号を最適化の過程で活用できた。