[論文レビュー] Hierarchically-Attentive RNN for Album Summarization and Storytelling

Licheng Yu, Mohit Bansal+1 more|arXiv (Cornell University)|Aug 9, 2017

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本論文は、完全なアルバムから代表的な写真を選択し、一貫性があり自然な言語の物語を生成するエンドツーエンドの視覚的ストーリーテリングのための階層的注意メカニズムを備えたRNNモデルを提案する。モデルは、アルバムの文脈を符号化し、顕著な写真に注目させ、滑らかな物語を生成するために、3段階に積み重ねた双方向GRUを用いる。写真選択、物語生成、アルバム検索の3つのタスクにおいて、最先端の性能を達成し、人間の評価でもベースラインを大きく上回ることが示された。

ABSTRACT

We address the problem of end-to-end visual storytelling. Given a photo album, our model first selects the most representative (summary) photos, and then composes a natural language story for the album. For this task, we make use of the Visual Storytelling dataset and a model composed of three hierarchically-attentive Recurrent Neural Nets (RNNs) to: encode the album photos, select representative (summary) photos, and compose the story. Automatic and human evaluations show our model achieves better performance on selection, generation, and retrieval than baselines.

研究の動機と目的

• 完全な写真アルバムからエンドツーエンドの視覚的ストーリーティングを実現する挑戦に応えること。この際、写真選択と物語生成の両方が同時に学習される必要がある。
• 事前に選択された要約写真や弱い教師信号に依存する従来の手法を改善し、訓練中に代表的な写真選択を暗黙的に学習することを目的とする。
• 複数のRNN段階にわたる階層的注意メカニズムを用いて、統一されたモデルとしてアルバム要約と物語生成を実現すること。
• 物語生成の評価に加え、物語を用いて元のアルバムを検索するという新しいアルバム検索タスクを評価すること。
• 明示的な選択に関する教師信号がなくても、学習された写真選択メカニズムが人間の好みとある程度整合していることを示すこと。

提案手法

• モデルは、アルバム内のすべての写真の視覚的特徴を符号化するための双方向GRU-RNNを用い、局所的およびグローバルな文脈を捉える。
• 2番目のRNNは、アルバム内の写真に対して注目重みを計算し、最も代表的な（要約用の）写真を特定する。これは微分可能な写真選択器として機能する。
• 3番目のRNNは、選択された写真の重み付き表現を自己回帰的生成によって、一貫性があり複数文からなる物語に変換する。
• モデル全体は、物語生成のための交差エントロピー損失と、写真選択を改善するためのランク付け正則化損失を組み合わせた共同損失を用いてエンドツーエンドで訓練される。
• ランク付け正則化項は、人間が選択した要約に近い写真に高い注目重みを割り当てるようモデルを促進する。
• 推論時には、多様で高品質な物語を生成するために、ビームサイズ=3のビームサーチが用いられる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、事前に選択された要約写真に依存せずに、完全なアルバムから代表的な写真の選択と一貫性のある物語生成を同時に学習できるか？
• RQ2 モデルが学習した写真選択は、人間がアノテートした要約写真とどれほど整合しているか？
• RQ3 提案された階層的注意メカニズムは、標準的なseq2seqや注目ベースのベースラインと比較して、物語生成の質を向上させるか？
• RQ4 モデルは、物語を用いて元のアルバムを検索するタスクにおいても効果的に機能するか？
• RQ5 損失関数にランク付け正則化項を組み込むことで、写真選択の質と下流タスクの性能が顕著に向上するか？

主な発見

• h-attn-rankモデルは、アルバム要約タスクでR@10が45.51%、Meteorスコアが28.77%を達成し、ベースラインのenc-dec（R@10:10.70%、Meteor:18.30%）を顕著に上回った。
• 人間評価では、強制的選択比較においてh-attn-rankモデルがenc-decおよびenc-attn-decベースラインを統計的に有意に好む傾向（p=0.01）を示した。
• モデルが学習した写真選択は中央順位が7.0を示し、人間が選択した要約と強い整合性を示しており、DPPベースのベースラインよりも精度と再現率で優れた性能を示した。
• アルバム検索タスクでは、h-attn-rankモデルがR@10で57.60%を達成し、enc-decベースライン（R@10:41.40%）を顕著に上回り、強力な検索能力を示した。
• 人間が選択した5枚の写真セットをオラクルとして用いても、エンドツーエンドモデルの性能上回る上昇はわずかであり、モデルがほぼ最適な選択を学習していることを示唆している。
• ランク付け正則化項は、要約と検索の両タスクで性能向上をもたらしたが、検索タスクへの影響はそれほど顕著ではなく、さらなる最適化の余地があることを示唆している。