[論文レビュー] Phrase-based Image Captioning with Hierarchical LSTM Model

Ying Hua Tan, Chee Seng Chan|arXiv (Cornell University)|Nov 11, 2017

Multimodal Machine Learning Applications参考文献 41被引用数 4

ひとこと要約

本稿では、画像のキャプションを生成するために、まずフレーズレベルで名詞句をデコードし、その後文レベルでそれらを組み合わせる、構成的ベクトル表現を用いたフレーズベースの階層的LSTMモデル（phi-LSTM）を提案する。このモデルは、Flickr8k、Flickr30k、MS-COCOデータセットにおいて、標準的な逐次的LSTMモデルと比較して、キャプションの品質が向上し、語彙の多様性が増加し、より新規性のあるキャプションを生成する。

ABSTRACT

Automatic generation of caption to describe the content of an image has been gaining a lot of research interests recently, where most of the existing works treat the image caption as pure sequential data. Natural language, however possess a temporal hierarchy structure, with complex dependencies between each subsequence. In this paper, we propose a phrase-based hierarchical Long Short-Term Memory (phi-LSTM) model to generate image description. In contrast to the conventional solutions that generate caption in a pure sequential manner, our proposed model decodes image caption from phrase to sentence. It consists of a phrase decoder at the bottom hierarchy to decode noun phrases of variable length, and an abbreviated sentence decoder at the upper hierarchy to decode an abbreviated form of the image description. A complete image caption is formed by combining the generated phrases with sentence during the inference stage. Empirically, our proposed model shows a better or competitive result on the Flickr8k, Flickr30k and MS-COCO datasets in comparison to the state-of-the art models. We also show that our proposed model is able to generate more novel captions (not seen in the training data) which are richer in word contents in all these three datasets.

研究の動機と目的

• 自然言語における文法的階層を正しくモデル化できない、逐次的キャプション生成モデルの限界を解決すること。
• 画像説明におけるフレーズレベル構造を明示的にモデル化することで、キャプションの品質と多様性を向上させること。
• フレーズから文への階層的デコードが、キャプション生成のパフォーマンスを向上させるかどうかを検証すること。
• フレーズと文の時間スケールを一致させることで、長期間記憶における冗長性を低減すること。
• 学習時に見られなかった、未知語彙（OOV）のキャプションをより多く生成すること。

提案手法

• モデルは下位の階層で、語を原子単位として用いて可変長の名詞句（NPs）を生成するフレーズデコーダーを使用する。
• 生成された各NPは、構成的ベクトル表現にエンコードされ、上位の要約文（AS）デコーダーの入力として供給される。
• ASデコーダーは、各NPの最後の語と接続語（例：'on'、'by'）から成る要約キャプションを生成する。
• ビームサーチ推論中に、生成されたフレーズと文の構成要素を組み合わせることで完全なキャプションが形成される。
• 推論中にフレーズレベルおよび文レベルの両方で長さ正規化が適用され、より長く記述的なキャプションの生成を促進する。
• 構文解析の品質を向上させ、出力の一貫性を高めるために、フレーズの最適化戦略が導入される。

実験結果

リサーチクエスチョン

• RQ1 フレーズから文への階層的デコードを行うキャプション生成モデルは、標準的な逐次的モデルを上回る性能を示せるか？
• RQ2 階層的デコードは、生成キャプションの多様性と新規性を向上させるか？
• RQ3 フレーズレベルの構造をモデル化することで、生成キャプションにおける物体や属性の認識の正確性は向上するか？
• RQ4 キャプション生成中に、長期間記憶における冗長性はどの程度低減されるか？
• RQ5 逐次的モデルと比較して、本モデルは「an」や「there」、「three」などのレア語や低頻度語をよりよく生成できるか？

主な発見

• phi-LSTMモデルは、Flickr8k、Flickr30k、MS-COCOデータセットにおいて、最先端のモデルと同等またはそれ以上の性能を達成する。
• 学習データに存在しないより多くの新規キャプションを生成しており、一般化能力と語彙の多様性が向上していることが示唆される。
• 「an」や「there」、「three」などの低頻度語の推論が向上しており、これらは通常、局所的な統計的バイアスのため、逐次的モデルでは見過ごされがちである。
• 特にMS-COCOデータセットの大きな学習データのおかげで、所有代名詞「her」や「their」の生成が、ベースラインと比較してより一貫して行われている。
• 階層的デコードプロセスにより、「by」のような前置詞や「while」のような接続詞の生成確率が向上し、これらは通常、逐次的モデルでは省略されがちである。
• ビームサーチ中に高頻度の定冠詞「a」との干渉が減少するため、母音で始まる属性（例：'an orange shirt'）の処理がより適切に行われている。