[論文レビュー] A Hierarchical Approach for Generating Descriptive Image Paragraphs

Jonathan Krause, Justin Johnson+2 more|arXiv (Cornell University)|Nov 20, 2016

Multimodal Machine Learning Applications参考文献 31被引用数 12

ひとこと要約

本稿では、画像を意味的領域に分解し、記述文を文に分解する階層的再帰ニューラルネットワークを用いて、一貫性があり詳細な記述パラグラフを生成する階層的ディープラーニングモデルを提案する。このアプローチは、従来のキャプション生成やデュースキャプションを凌駃し、より多様で言語的に複雑で文脈的に一貫性のあるパラグラフを生成し、文の流れ、多様性、画像内容への関連性において顕著な向上を達成する。

ABSTRACT

Recent progress on image captioning has made it possible to generate novel sentences describing images in natural language, but compressing an image into a single sentence can describe visual content in only coarse detail. While one new captioning approach, dense captioning, can potentially describe images in finer levels of detail by captioning many regions within an image, it in turn is unable to produce a coherent story for an image. In this paper we overcome these limitations by generating entire paragraphs for describing images, which can tell detailed, unified stories. We develop a model that decomposes both images and paragraphs into their constituent parts, detecting semantic regions in images and using a hierarchical recurrent neural network to reason about language. Linguistic analysis confirms the complexity of the paragraph generation task, and thorough experiments on a new dataset of image and paragraph pairs demonstrate the effectiveness of our approach.

研究の動機と目的

• 単一文の画像キャプションには詳細性に欠けること、デュースキャプションには一貫性に欠けることという従来の限界を解消するため、パラグラフレベルの画像記述を新たなタスクとして導入すること。
• 視覚的構造と言語的構造の両方を階層的に推論できるモデルを開発し、画像を意味的領域に、記述文を構成する文に分解すること。
• 新たに収集した画像-パラグラフデータセットを用いて、パラグラフ生成の複雑さを言語的分析により検証し、階層的モデリングの有効性を示すこと。
• 領域レベルのキャプションから得られる知識を転移させることで、パラグラフ生成の性能を向上させることを検討すること。
• 検出された画像領域の部分集合しか与えられていない場合でも、意味があり焦点が当たったパラグラフを生成できることを示すこと。

提案手法

• モデルは、文とパラグラフの両レベルで言語を処理する階層的再帰ニューラルネットワーク（RNN）を用い、複数の文にわたる長期的推論を可能にする。
• 画像はオブジェクト検出と領域提案ネットワークを用いて意味的領域に分解され、言語モデルのための視覚的特徴が提供される。
• 階層的RNNアーキテクチャは文を逐次処理し、上位レベルのRNNが下位レベルの文表現に注目することで、パラグラフ全体にわたる一貫性を維持する。
• 大規模な領域キャプションデータセット（Visual Genome）で事前学習することで、知識転移が可能となり、パラグラフ生成の性能が向上する。
• 文の流れ、関連性、多様性を最適化するため、言語モデリング損失とアライメント損失の組み合わせを用いてエンド・トゥ・エンドで学習する。
• 解釈可能性は、上位k個の検出領域からのみパラグラフを生成することで評価され、関連する画像部分に焦点を当てた注意を示す。

実験結果

リサーチクエスチョン

• RQ1 階層的ディープラーニングモデルは、単一文のキャプションを越えて、一貫性があり詳細な画像記述を生成できるか？
• RQ2 画像と言語の両方を階層的にモデリングすることで、自己回帰的またはテンプレートベースのベースラインと比較して、生成パラグラフの質と一貫性はどのように向上するか？
• RQ3 領域レベルのキャプションから得られる知識は、どの程度パラグラフ生成の向上に寄与できるか？
• RQ4 生成されたパラグラフの言語的特性（例：多様性、品詞分布）は、人間が書いた記述と比較してどうなるか？
• RQ5 画像領域の少数しか与えられていない場合でも、意味があり焦点が当たったパラグラフをモデルは生成できるか？

主な発見

• 階層的モデルは平均70.47トークンのパラグラフを生成し、文ベースの手法（Sentence-Concat：56.18トークン）よりも著しく長く、人間レベルのばらつき（67.51トークン）に近い。
• 多様性スコアが2.13と、Sentence-Concatベースライン（0.95）やテンプレート法（0.00）を大幅に上回り、より高い言語的多様性を示している。
• テンプレート法（422トークン）と比較して、人称代名詞の割合（13.53%）が高く、語彙数（1989語）も多様で、言語的複雑性が向上している。
• 検出された領域が少数であっても、入力された領域にのみ焦点を当てた関連性の高いパラグラフを生成でき、解釈可能性と入力が疎である場合のロバスト性が顕著に示された。
• 人間評価により、モデルの出力はベースラインと比較してより自然で文脈的に一貫しており、画像内容との整合性が高く、繰り返しも少ないことが確認された。
• 自動評価と人間評価の両方で、強力なベースラインを上回り、階層的モデリングと領域レベルキャプションからの知識転移の有効性が裏付けられた。