[論文レビュー] Self-Guiding Multimodal LSTM - when we do not have a perfect training dataset for image captioning

Yang Xian, Yingli Tian|arXiv (Cornell University)|Sep 15, 2017

Multimodal Machine Learning Applications参考文献 39被引用数 4

ひとこと要約

本論文は、長さや関連性のばらつきが著しい、ノイズが多くアンバランスな現実世界のデータセット（例：FlickrNYC）における画像キャプション生成を改善するため、自己誘導型マルチモーダルLSTM（sg-LSTM）フレームワークを提案する。強力に整合した画像・テキストペアのサブセット上でマルチモーダルLSTMを学習させ、誘導用のテキスト特徴を抽出することで、より広範なデータセット上でのキャプション生成を向上させる。従来のマルチモーダルRNNおよびLSTMと比較して、意味的に正確で内容に関連する記述を生成する点で優れた性能を達成した。

ABSTRACT

In this paper, a self-guiding multimodal LSTM (sg-LSTM) image captioning model is proposed to handle uncontrolled imbalanced real-world image-sentence dataset. We collect FlickrNYC dataset from Flickr as our testbed with 306,165 images and the original text descriptions uploaded by the users are utilized as the ground truth for training. Descriptions in FlickrNYC dataset vary dramatically ranging from short term-descriptions to long paragraph-descriptions and can describe any visual aspects, or even refer to objects that are not depicted. To deal with the imbalanced and noisy situation and to fully explore the dataset itself, we propose a novel guiding textual feature extracted utilizing a multimodal LSTM (m-LSTM) model. Training of m-LSTM is based on the portion of data in which the image content and the corresponding descriptions are strongly bonded. Afterwards, during the training of sg-LSTM on the rest training data, this guiding information serves as additional input to the network along with the image representations and the ground-truth descriptions. By integrating these input components into a multimodal block, we aim to form a training scheme with the textual information tightly coupled with the image content. The experimental results demonstrate that the proposed sg-LSTM model outperforms the traditional state-of-the-art multimodal RNN captioning framework in successfully describing the key components of the input images.

研究の動機と目的

• Flickrのような、制御不能でノイズが多く、アンバランスな現実世界のデータセット（画像と説明文の長さ、品質、画像との意味的整合性にばらつきがある）において、画像キャプションモデルを学習する課題に対処すること。
• 実際にはほとんど存在しない「完璧な」訓練データに依存する従来のデータ駆動型キャプションフレームワークの限界を克服すること。
• 高品質で画像と整合した説明文のサブセットを活用し、全般的にノイズが多いデータセット上でのモデル学習を誘導する自己誘導メカニズムを構築すること。
• トレーニング中に画像特徴と動的に学習されたテキスト誘導特徴を密に結合することで、生成されたキャプションの意味的・文法的品質を向上させること。
• 真の説明文が曖昧または不適切であっても、提案フレームワークが標準のマルチモーダルRNNおよびLSTMベースラインを上回り、正確で内容に関連する記述を生成できることを実証すること。

提案手法

• キーワード「New York City」を用いてFlickrからFlickrNYCデータセットを収集し、ユーザー提供の説明文が長さや品質にばらつきを持つ306,165枚の画像を含む。
• テキストの整合性と画像コンテンツとの整合性に基づき、$data_s$（短い、画像と整合した説明文）と $data_l$（長い、整合性が低い可能性のある説明文）の2つの部分にデータセットを分割する。
• $data_s$ でマルチモーダルLSTM（m-LSTM）を学習させ、強い画像・テキスト相関を捉える誘導用テキスト特徴表現を学習する。
• 学習されたm-LSTMを用いて、$data_l$ 内の各画像に対して誘導用テキスト特徴を生成し、sg-LSTMモデルの学習時に画像特徴および正解キャプションと融合する。
• 画像特徴、正解キャプション、誘導用テキスト特徴をsg-LSTMアーキテクチャ内のマルチモーダルブロックに統合し、誘導特徴からの強い監視信号を活用した共同学習を可能にする。
• 意味的関連性を最適化し、誘導信号のノイズを低減するために、GloVe単語埋め込み（次元50）を用いたTF-IDF重み付けを誘導用テキスト特徴のベクトル化に適用する。

実験結果

リサーチクエスチョン

• RQ1 訓練データがノイズが多く、アンバランスで、画像と説明文の整合性が弱い状況下でも、自己誘導メカニズムが画像キャプションの性能を向上させることができるか？
• RQ2 高品質で画像と整合したペアの少数サブセット上で学習されたマルチモーダルLSTMが、より大きなノイズの多いデータセット上でのキャプション生成を向上させる誘導特徴を効果的に生成できるか？
• RQ3 学習された誘導用テキスト特徴をキャプションモデルに統合することで、標準のマルチモーダルRNNやLSTMベースラインと比較して、より正確で意味的に意味のある記述が得られるか？
• RQ4 元のユーザー説明文が欠落または誤りであっても、提案フレームワークがランドマーク、物体、行動といった重要な視覚的要素をどれだけ回復できるか？
• RQ5 テキストベクトル化方式の選択（例：GloVe、TF-IDF）が、自己誘導型キャプションフレームワークの性能にどのように影響を与えるか？

主な発見

• GloVe-TF-IDF（50次元）ベクトル化を用いた提案されたsg-LSTMモデルが、すべての評価設定の中で最高の定量的性能を示し、$data_l$ テストセットにおいてm-RNNおよびm-LSTMベースラインを上回った。
• 定性的な比較（図5および図6）により、sg-LSTMモデルが、いくつかの事例で元のユーザー説明文よりも意味的に正確で内容に関連する記述を生成したことが示された。
• 元の説明文に明示的に記載がなくても、ランドマーク、天候状態、特定の行動といった重要な視覚的要素を、モデルが正常に回復した。
• FlickrNYCデータセットのノイズの多い性質にもかかわらず、高品質なサブセット（$data_s$）からの誘導特徴を活用することで、低品質または不適切な説明文の影響を低減し、高い性能を達成した。
• m-RNNベースラインは、訓練データ内の高頻度で関連性のないフレーズに過学習したため、数値評価で劣悪な性能を示した。これは、自己誘導メカニズムの優位性を示している。
• 曖昧または欠落した視覚的手がかり（例：「夕焼け」と「日の出」の区別）に対しても、直接的な画像特徴に依存するのではなく、学習された誘導に依存することで、フレームワークは頑健性を示した。