[論文レビュー] Deep Compositional Captioning: Describing Novel Object Categories without Paired Training Data

Lisa Anne Hendricks, Subhashini Venugopalan+4 more|arXiv (Cornell University)|Nov 17, 2015

Multimodal Machine Learning Applications参考文献 33被引用数 14

ひとこと要約

本稿では、ペaired画像文データに存在しない新しいオブジェクトカテゴリの記述を生成できる、画像および動画のキャプション生成モデルであるDeep Compositional Captioner（DCC）を提案する。未ラベル付きの画像およびテキストデータを活用し、意味的に類似した既知のオブジェクトから知識を転送することで、未学習のオブジェクトに対して一貫性があり文脈的に正確なキャプションを生成する。MSCOCOおよびImageNetデータセットにおいて、ベースラインモデルと比較して定性的および定量的に優れた性能を示している。

ABSTRACT

While recent deep neural network models have achieved promising results on the image captioning task, they rely largely on the availability of corpora with paired image and sentence captions to describe objects in context. In this work, we propose the Deep Compositional Captioner (DCC) to address the task of generating descriptions of novel objects which are not present in paired image-sentence datasets. Our method achieves this by leveraging large object recognition datasets and external text corpora and by transferring knowledge between semantically similar concepts. Current deep caption models can only describe objects contained in paired image-sentence corpora, despite the fact that they are pre-trained with large object recognition datasets, namely ImageNet. In contrast, our model can compose sentences that describe novel objects and their interactions with other objects. We demonstrate our model's ability to describe novel concepts by empirically evaluating its performance on MSCOCO and show qualitative results on ImageNet images of objects for which no paired image-caption data exist. Further, we extend our approach to generate descriptions of objects in video clips. Our results show that DCC has distinct advantages over existing image and video captioning approaches for generating descriptions of new objects in context.

研究の動機と目的

• ペアド画像文データに存在しない新しいオブジェクトカテゴリを記述できない既存の深層的キャプションモデルの限界を解消すること。
• 意味的に類似した既知のオブジェクトから知識を転送することで、新しいオブジェクトに対して構成的キャプション生成を可能にすること。
• 未ラベル付きの画像およびテキストデータに対する独立学習と、ペアドデータにおける共同ファインチューニングを組み合わせたフレームワークを構築し、一般化性能を向上させること。
• モデルの能力を画像にとどめず、動画キャプション生成へと拡張し、時間的視覚シーケンスにおける新しいオブジェクトの記述を可能にすること。

提案手法

• モデルは語彙分類と言語モデリングを分離し、それぞれ未ラベル付きの画像データおよびテキストデータ上で学習した後、ペアド画像文データを用いて共同ファインチューニングを行う。
• マルチモーダル融合層により、視覚的および言語的表現を共通の埋め込み空間にアライメントさせることで、既知のオブジェクトから新しいオブジェクトへの知識転送を実現する。
• 知識転送は意味的類似性を介して達成される：外部のテキストコーパスを用いて、新しいオブジェクトを意味的に類似した既知の概念と関連付けることで、構成的キャプション生成を可能にする。
• モデルは、既知のオブジェクトとの意味的類似性に基づいて、言語モデル特徴を新しいオブジェクトカテゴリに適応する転送機構（DT）を用いる。
• 動画キャプション生成のため、同じアーキテクチャを時間的動画クリップに拡張し、動画レベルの特徴と転移学習を用いる。
• 外部テキストコーパスを活用することで、未知の視覚的コンセプトへの構成的一般化を可能にし、ゼロショットキャプション生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 ペアド画像文トレーニングデータに存在しないオブジェクトカテゴリに対し、深層的キャプションモデルが正確な記述を生成できるか？
• RQ2 未ラベル付きの画像およびテキストデータを用いて、既知のオブジェクトからの知識を新しいオブジェクトカテゴリにどの程度効果的に転送できるか？
• RQ3 ペアド動画キャプション例が一切存在しない状況において、モデルは時間的視覚シーケンス内の新しいオブジェクトにどの程度一般化できるか？
• RQ4 外部テキストコーパスは、未観測の視覚的コンセプトへの構成的一般化をどのように可能にするか？
• RQ5 フレーズの自然さ、関連性、正確性という観点から、ベースラインキャプションモデルと比較して、モデルの性能はどの程度向上するか？

主な発見

• DCCは、トレーニング中に観測されなかったオブジェクトカテゴリに対して正確な記述を生成することで、MSCOCOで顕著な性能向上を達成し、効果的なゼロショット一般化を示している。
• ImageNetの新しいオブジェクトの画像に対して、DCCはペアドデータが存在しない状況でも、定性的に適切で文脈的に正確なキャプションを生成している。
• ILSVRC動画データを用いた転移学習により、動画キャプション生成の性能が向上し、「クジラ」「キツネ」「ハムスター」などの新しいオブジェクトに対して、最も適切なキャプションが正しく同定されている。
• METEORスコアは、転移学習を用いた場合も安定して28.8を維持している一方で、F1スコアは0.0から13.7に上昇しており、新しいオブジェクトカテゴリの検出精度が向上していることが示唆されている。
• 定性的な結果から、DCCは新しいオブジェクトに対して多様で妥当なキャプションを生成できるが、誤分類（例：「キツネ」を「イヌ」と誤認）や、不適切な転送による文法的誤りが発生する場合がある。
• モデルは単にトレーニングデータからの語の置換を行うのではなく、既知の文脈パターンと視覚的特徴を組み合わせて、新しい文を構成する。これは、転送後に改善された記述例（例：「クジラが泳いでいる」対「女性がジェットスキーを乗っている」）から明らかである。