[論文レビュー] Diverse and Coherent Paragraph Generation from Images

Moitreya Chatterjee, Alexander G. Schwing|arXiv (Cornell University)|Sep 3, 2018

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、画像から多様で一貫性のある段落生成のための新しい変分オートエンコーダー（VAE）ベースのモデルを提案する。主題の一貫性を保証するための「一貫性ベクトル」と、画像全体の文脈を維持するための「グローバルトピックベクトル」を導入している。この手法は、スタンフォード画像―段落データセットおよびアマゾン製品レビュー・データセットの両方で、最新の手法を上回り、自動評価および人的評価の両方で最先端の結果を達成した。

ABSTRACT

Paragraph generation from images, which has gained popularity recently, is an important task for video summarization, editing, and support of the disabled. Traditional image captioning methods fall short on this front, since they aren't designed to generate long informative descriptions. Moreover, the vanilla approach of simply concatenating multiple short sentences, possibly synthesized from a classical image captioning system, doesn't embrace the intricacies of paragraphs: coherent sentences, globally consistent structure, and diversity. To address those challenges, we propose to augment paragraph generation techniques with 'coherence vectors', 'global topic vectors', and modeling of the inherent ambiguity of associating paragraphs with images, via a variational auto-encoder formulation. We demonstrate the effectiveness of the developed approach on two datasets, outperforming existing state-of-the-art techniques on both.

研究の動機と目的

• 既存の画像段落生成モデルには一貫性や多様性に欠ける傾向があるため、それらを是正すること。特に、一貫性のない、あるいは繰り返しの多い物語的記述を生成する傾向がある。
• 画像と複数の妥当な段落との間にある本質的な曖昧性を、変分オートエンコーディングを活用してモデル化すること。
• 文の間での主題の一貫性を保ちつつ、画像の全体的文脈を明示的なベクトル表現を通じて維持すること。
• より長い、より自然で多様な段落を生成すること。これにより、視覚的相互作用や物語的構造の微細な側面を反映できるようにする。

提案手法

• 最近生成された文の主題をエンコードする「一貫性ベクトル」を導入し、文の間でのトピック遷移を滑らかに保つ。
• 画像全体の内容を捉える「グローバルトピックベクトル」を用いて、画像の主な物語的構造と一貫性を維持する。
• 変分オートエンコーダー（VAE）フレームワークを用いて、段落生成における潜在的な不確実性をモデル化し、確率的サンプリングにより多様かつ一貫性のある出力を可能にする。
• 一貫性ベクトル、グローバルトピックベクトル、および文レベルの表現を組み合わせ、自己回帰的デコーダーを条件づけることで、一貫性のある段落生成を実現する。
• VAE正則化を施した最大尤度学習を用いてモデルを訓練し、多様性と一般化性能を向上させる。
• GANベースとVAEベースの両方の学習設定を評価し、VAEバージョンが優れた性能と安定性を示した。

実験結果

リサーチクエスチョン

• RQ1 文の間の一貫性を明示的にモデル化することで、画像から生成される段落の物語的質が向上するか？
• RQ2 段落生成中に複数の文にわたって、画像のグローバルな意味をどのように維持できるか？
• RQ3 変分オートエンコーディングは、画像から段落へのマッピングの曖昧性を効果的にモデル化でき、多様かつ一貫性のある出力を可能にするか？
• RQ4 一貫性ベクトルを組み込むことで、従来手法に比べてより人間らしい、トピックに一貫性のある物語的記述が得られるか？
• RQ5 本手法は、画像キャプション生成を超えて、製品レビュー生成などの他のテキスト生成タスクにも一般化可能か？

主な発見

• VAE設定で学習した場合、スタンフォード画像―段落データセットでSOTA性能を達成し、CIDErスコア46.32、METEORスコア37.45を記録した。
• アマゾン製品レビュー・データセットでは、すべてのベースラインを大きく上回り、画像キャプション生成を超えた強力な一般化性能を示した。
• VAEベースの学習設定がGANベースの設定よりも優れた結果を示し、CIDErおよびMETEORスコアが高く、学習の安定性によるものと推測される。
• アブレーションスタディにより、一貫性ベクトルが文の間のトピック遷移を減少させる上で不可欠であることが確認された。このベクトルを除去すると、急激な主題の変化が生じた。
• 同じ画像から異なる潜在コードをサンプリングすることで、本モデルは多様な段落を生成できることを、補足結果および図7で示した。
• 本モデルは、製品画像からの「駐車場（car-park）」のようなメタコンセプトや、星評価からの感情的キューを的確に捉えており、シーンの意味的構造に対する堅牢な理解を示している。