[論文レビュー] Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation

Jing Wang, Yingwei Pan+3 more|arXiv (Cornell University)|Aug 1, 2019

Multimodal Machine Learning Applications参考文献 26被引用数 12

ひとこと要約

本論文では、画像領域特徴から包括的で代表的なトピックを抽出するための畳み込み自己符号化を用いた新規フレームワークCAE-LSTMを提案する。LSTMに基づくトピックモデリングの代わりに畳み込みエンコーダ・デコーダ構造を採用し、注意機構とカバレッジベースの自己的中トレーニングを統合した二段階LSTMを用いることで、CAE-LSTMは最先端の性能を達成し、スタンフォード画像パラグラフデータセットにおいてCIDErスコアを20.93%から25.15%まで向上させた。

ABSTRACT

Image paragraph generation is the task of producing a coherent story (usually a paragraph) that describes the visual content of an image. The problem nevertheless is not trivial especially when there are multiple descriptive and diverse gists to be considered for paragraph generation, which often happens in real images. A valid question is how to encapsulate such gists/topics that are worthy of mention from an image, and then describe the image from one topic to another but holistically with a coherent structure. In this paper, we present a new design --- Convolutional Auto-Encoding (CAE) that purely employs convolutional and deconvolutional auto-encoding framework for topic modeling on the region-level features of an image. Furthermore, we propose an architecture, namely CAE plus Long Short-Term Memory (dubbed as CAE-LSTM), that novelly integrates the learnt topics in support of paragraph generation. Technically, CAE-LSTM capitalizes on a two-level LSTM-based paragraph generation framework with attention mechanism. The paragraph-level LSTM captures the inter-sentence dependency in a paragraph, while sentence-level LSTM is to generate one sentence which is conditioned on each learnt topic. Extensive experiments are conducted on Stanford image paragraph dataset, and superior results are reported when comparing to state-of-the-art approaches. More remarkably, CAE-LSTM increases CIDEr performance from 20.93% to 25.15%.

研究の動機と目的

• 複雑な画像における複数で多様な視覚的要約（トピック）を特定・整理し、一貫性のあるパラグラフ生成を実現する課題に対処する。
• 画像領域間の空間的関係を十分に活用できないRNNベースのトピックモデリングの限界を克服する。
• 完全に畳み込み型の自己符号化フレームワークを用いて、領域レベル特徴から代表的で包括的なトピックを抽出する手法を開発する。
• 学習されたトピックを階層的LSTMアーキテクチャに統合し、生成パラグラフにおける文間の一貫性と全体的なオブジェクトカバレッジを保証する。
• カバレッジベースの報酬を自己的中トレーニングに組み込むことで、画像コンテンツの包括的記述を促進し、パラグラフの品質を向上させる。

提案手法

• 入力画像から顕著な領域レベル特徴を抽出する目的でFaster R-CNNを用い、トピックモデリングモジュールの入力とする。
• 領域レベル特徴に畳み込みを適用することで、RNNベースの符号化に代わる画像トピックの要約を実現する畳み込みエンコーダを採用する。
• 歪みのない特徴再構成を実現するため、歪みのない特徴をトピックから再構成するためのデコンボリューションデコーダを実装する。再構成損失により高品質な表現を強制する。
• 平均プーリングを用いて領域レベル特徴を統合し、パラグラフ生成のためのグローバル画像表現を形成する。
• 二段階LSTMアーキテクチャを用いる：パラグラフレベルLSTMは文間の依存関係をモデル化し、文レベルLSTMは各学習済みトピックを条件として単語を生成する。
• 自己的中トレーニングにカバレッジ報酬を統合し、全体的なオブジェクトカバレッジの向上と繰り返しの削減を促進する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み自己符号化フレームワークは、RNNベースの手法に比べて、画像領域から包括的で代表的なトピックをより効果的に捉えることができるか？
• RQ2 畳み込み自己符号化によるトピックモデリングは、画像キャプションにおける生成パラグラフの一貫性と多様性にどのように影響するか？
• RQ3 トピックに意識的な生成を階層的LSTMとカバレッジベーストレーニングに統合することで、パラグラフの品質とカバレッジはどの程度向上するか？
• RQ4 提案されたCAE-LSTMフレームワークは、標準ベンチマークにおいて既存の最先端手法を上回る性能を示すか？
• RQ5 個々の構成要素（例：畳み込み符号化、再構成損失、カバレッジ報酬）のアブレーションが、全体の性能にどのように影響するか？

主な発見

• CAE-LSTMはスタンフォード画像パラグラフデータセットにおいて25.15のSOTA CIDErスコアを達成し、前回のSOTA（20.93）から顕著な向上を示した。
• アブレーションスタディにより、LSTMベースのトピックモデリングを畳み込み符号化（CE）に置き換えることで性能が向上し、空間的に注意を向けるトピック要約の優位性が裏付けられた。
• CAEモジュールに再構成損失（RL）を追加することでさらなる性能向上が得られ、高精度な再構成がトピックの代表性を向上させることを示した。
• 自己的中トレーニングにカバレッジ報酬（SC）を統合することで、さらに性能向上が見られ、より包括的で繰り返しの少ないパラグラフが生成された。
• Turingテストによる人的評価では、CAE-LSTMが生成したパラグラフの39.8%が人間が書いたものと区別できず、LSTM-ATT（14.7%）を大きく上回り、人間の性能（88.5%）に近づいた。
• 定性的な結果から、CAE-LSTMは繰り返しの多い表現（例："holding a tennis racket"）を避けるなど、より一貫性があり多様なパラグラフを生成することが明らかになった。