[論文レビュー] Empirical performance upper bounds for image and video captioning

Li Yao, Nicolas Ballas+3 more|arXiv (Cornell University)|Nov 14, 2015

Multimodal Machine Learning Applications参考文献 40被引用数 4

ひとこと要約

本稿では、画像および動画のキャプション生成を視覚的コンセプト抽出と言語生成に分解することで、性能の経験的上限を提案する。視覚的コンセプト検出が完璧であると仮定し、単純な条件付き言語モデルを訓練することで、MS-COCO、YouTube2Text、LSMDCの各データセットにおける性能上限を確立した。その結果、最先端モデルは依然として上限に達していないことが明らかになり、モデル容量と精度のトレードオフ、データセットの難易度を定量的に評価した。

ABSTRACT

The task of associating images and videos with a natural language description has attracted a great amount of attention recently. Rapid progress has been made in terms of both developing novel algorithms and releasing new datasets. Indeed, the state-of-the-art results on some of the standard datasets have been pushed into the regime where it has become more and more difficult to make significant improvements. Instead of proposing new models, this work investigates the possibility of empirically establishing performance upper bounds on various visual captioning datasets without extra data labelling effort or human evaluation. In particular, it is assumed that visual captioning is decomposed into two steps: from visual inputs to visual concepts, and from visual concepts to natural language descriptions. One would be able to obtain an upper bound when assuming the first step is perfect and only requiring training a conditional language model for the second step. We demonstrate the construction of such bounds on MS-COCO, YouTube2Text and LSMDC (a combination of M-VAD and MPII-MD). Surprisingly, despite of the imperfect process we used for visual concept extraction in the first step and the simplicity of the language model for the second step, we show that current state-of-the-art models fall short when being compared with the learned upper bounds. Furthermore, with such a bound, we quantify several important factors concerning image and video captioning: the number of visual concepts captured by different models, the trade-off between the amount of visual elements captured and their accuracy, and the intrinsic difficulty and blessing of different datasets.

研究の動機と目的

• 追加のアノテーションや人的評価を用いずに、視覚的キャプション生成の性能上限を確立すること。
• 画像および動画のキャプション生成において、最先端モデルと理論的性能限界とのギャップを調査すること。
• 既存のモデルが把握する視覚的コンセプトの数と、カバレッジと精度のトレードオフを定量化すること。
• 異なるキャプションデータセットの内在的な難易度と、潜在的な「幸運効果」を分析すること。
• 視覚的コンセプトと言語モデルに基づく最小限でスケーラブルな手法を用いて、モデル性能のベンチマークを提供すること。

提案手法

• 視覚的キャプション生成を2段階に分解する：視覚的コンセプト抽出と言語生成。
• 第一段階の代替として、画像／動画からの視覚的コンセプト抽出が完全であると仮定する。
• 抽出された視覚的コンセプト上で条件付き言語モデルを訓練し、キャプションを生成する。
• この2段階の設定を用いて、キャプション生成性能の経験的上限を推定する。
• MS-COCO、YouTube2Text、LSMDC（M-VAD + MPII-MD）の3つのデータセットにこの手法を適用する。
• 標準指標を用いて上限を評価し、実際の最先端モデルの性能と比較する。

実験結果

リサーチクエスチョン

• RQ1 現在のモデルは、画像および動画のキャプション生成において理論的性能限界にどの程度近づけるか？
• RQ2 視覚的コンセプトのカバレッジと正確性が、最終的なキャプション生成性能に与える影響は何か？
• RQ3 MS-COCO、YouTube2Text、LSMDCの各データセットは、内在的な難易度とモデルの潜在的性能においてどのように比較できるか？
• RQ4 最先端モデルは、上限に比べて視覚的コンセプトをどの程度無駄にしているか？
• RQ5 抽出されたコンセプト上で訓練された単純な言語モデルは、性能上限の信頼できる代理として機能するか？

主な発見

• 最先端モデルは、本手法で確立された経験的上限に対して著しく性能を発揮していない。
• 不完全な視覚的コンセプト抽出と単純な言語モデルであっても、上限は現在のモデル出力よりも著しく高い水準に留まっている。
• 本手法により、現在のモデルがデータ内に存在する視覚的コンセプトのわずか一部しか捉えていないことが明らかになり、視覚的理解の大きなギャップが示された。
• 視覚的要素の数とその正確性の間にトレードオフが存在し、カバレッジが高かろうが性能が必ずしも向上するわけではない。
• LSMDCデータセットは、MS-COCO や YouTube2Text よりもより困難であることが判明した。一方、YouTube2Text は動画コンテンツの高い再現性により「幸運効果」を示した。
• 上限分析により、各データセットの性能上限が定量的に特定され、今後のモデル開発の新しいベンチマークが提供された。