[論文レビュー] OBJ2TEXT: Generating Visually Descriptive Language from Object Layouts

Xuwang Yin, Vicente Ordóñez|arXiv (Cornell University)|Jul 22, 2017

Multimodal Machine Learning Applications参考文献 35被引用数 11

ひとこと要約

OBJ2TEXTは、ピクセルデータに依存せずに、オブジェクトのカテゴリとバウンディングボックスの位置からなるオブジェクトレイアウトから記述的自然言語キャプションを生成する、シーケンス・ツー・シーケンスLSTMモデルを提案する。レイアウトをシーケンスとしてエンコードしても、空間的関係性とオブジェクト数を効果的に捉えることができ、CNN-RNN画像キャプションモデルと組み合わせた際、CIDErスコア0.950を達成し、ベースラインより0.087ポイント優れている。

ABSTRACT

Generating captions for images is a task that has recently received considerable attention. In this work we focus on caption generation for abstract scenes, or object layouts where the only information provided is a set of objects and their locations. We propose OBJ2TEXT, a sequence-to-sequence model that encodes a set of objects and their locations as an input sequence using an LSTM network, and decodes this representation using an LSTM language model. We show that our model, despite encoding object layouts as a sequence, can represent spatial relationships between objects, and generate descriptions that are globally coherent and semantically relevant. We test our approach in a task of object-layout captioning by using only object annotations as inputs. We additionally show that our model, combined with a state-of-the-art object detector, improves an image captioning model from 0.863 to 0.950 (CIDEr score) in the test benchmark of the standard MS-COCO Captioning task.

研究の動機と目的

• オブジェクトのカテゴリと空間的バウンディングボックスのみを入力として、意味的に整合性があり、グローバルに一貫性のあるキャプションを生成するモデルを開発すること。
• 空間的関係性とオブジェクト数が、自然言語生成のためのシーケンス・ツー・シーケンスフレームワーク内で効果的にエンコードされ、活用可能かどうかを調査すること。
• 色、テクスチャ、背景などの視覚的特徴が欠如している状況下で、空間的および数的情報がキャプション品質に果たす役割を評価すること。
• CNNからの深層視覚特徴とオブジェクトレイアウト表現を組み合わせることで、画像キャプション性能が標準モデルを上回ることを示すこと。

提案手法

• モデルは、オブジェクトレイアウトを (カテゴリ, 位置) ペアのシーケンスとして処理する2ストリームLSTMエンコーダーを用いる。これにより、空間的および意味的関係性が捉えられる。
• オブジェクトの位置は、正規化されたバウンディングボックス座標 (x, y, w, h) としてエンコードされ、オブジェクトカテゴリはワードベクトルとして埋め込まれる。
• デコーダーは、エンコードされたレイアウト表現を条件として、トークン単位で記述的キャプションを生成する標準的なLSTM言語モデルである。
• モデルは、MS-COCOデータセット上で、真値のオブジェクトアノテーションと対応するキャプションを用いて、エンド・ツー・エンドで訓練される。
• オブジェクトの位置情報や数を削除することで、それらの寄与を分離するためのアブレーションスタディが実施される。
• 最先端のオブジェクト検出器 (YOLO) とCNN-RNNキャプションモデルを組み合わせることで、画像キャプション性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 シーケンスとしてエンコードされたオブジェクトレイアウトから、シーケンス・ツー・シーケンスモデルが空間的関係性とオブジェクト数を効果的に学習できるか？
• RQ2 色やテクスチャなどのピクセルレベルの視覚的特徴が欠落している状況でも、オブジェクトカテゴリと位置情報のみでキャプション品質が著しく低下するか？
• RQ3 オブジェクトの数と空間的位置が、生成キャプションの意味的整合性と正確性にどの程度寄与するか？
• RQ4 CNNからの深層視覚特徴とオブジェクトレイアウト表現を組み合わせることで、画像キャプション性能が標準モデルを上回るか？

主な発見

• CNN-RNNモデルと組み合わせた際、MS-COCOテストセットでCIDErスコア0.950を達成し、ベースラインのCNN-RNNモデル（0.863）を0.087ポイント上回った。
• アブレーションスタディの結果、オブジェクトの数と空間的位置の両方がキャプション品質に顕著に寄与しており、いずれかを削除すると性能が低下した。
• 人的評価では、全評価者が同意したケースの65.3%で、組み合わせモデルがベースラインのCNN-RNNモデルよりも好まれた。
• 色、テクスチャ、背景情報にアクセスがなくても、モデルはグローバルに一貫性があり意味的に関連性のある記述を生成でき、空間的およびカテゴリカルなデータの十分性を示した。
• 定性的分析の結果、組み合わせモデルは、単体の各コンponentよりも正確で包括的なキャプションを生成しており、相補的な強みを活かしていた。
• YOLOからのレイアウト情報のみを用いるOBJ2TEXT-YOLOは、画像の文脈が欠如しているにもかかわらず、妥当な記述を生成でき、レイアウト情報そのものが意味のあるキャプション生成を可能にすることを証明した。