[論文レビュー] Dense Image Representation with Spatial Pyramid VLAD Coding of CNN for Locally Robust Captioning

Andrew Shin, Masataka Yamaguchi+2 more|arXiv (Cornell University)|Mar 30, 2016

Multimodal Machine Learning Applications参考文献 24被引用数 6

ひとこと要約

本稿では、選択的探索によって検出された部分領域からのCNN特徴量の空間的ピラミッドVLAD符号化を提案し、画像の局所的でロバストな表現を構築することで、画像キャプション生成の性能を向上させる。複数の空間的レベルでVLAD符号化を適用することにより、元のCNN特徴量の3%にまで次元を削減しつつ、局所化精度を顕著に向上させ、しばしば人間がアノテートしたキャプションを上回る、二次的な物体の詳細を含むキャプションを生成する。

ABSTRACT

The workflow of extracting features from images using convolutional neural networks (CNN) and generating captions with recurrent neural networks (RNN) has become a de-facto standard for image captioning task. However, since CNN features are originally designed for classification task, it is mostly concerned with the main conspicuous element of the image, and often fails to correctly convey information on local, secondary elements. We propose to incorporate coding with vector of locally aggregated descriptors (VLAD) on spatial pyramid for CNN features of sub-regions in order to generate image representations that better reflect the local information of the images. Our results show that our method of compact VLAD coding can match CNN features with as little as 3% of dimensionality and, when combined with spatial pyramid, it results in image captions that more accurately take local elements into account.

研究の動機と目的

• 標準のCNN特徴量が、正確なキャプション生成に不可欠な局所的・二次的画像要因を捉えきれていないという限界を解決すること。
• 部分領域の特徴量表現をコンパクトな符号化によって強化することで、画像キャプション生成の性能を向上させること。
• 領域提案からのCNN特徴量に空間的ピラミッドVLADを適用し、コンパクトな表現においても空間的文脈を保持すること。
• 特徴量次元を大幅に削減しつつ、キャプション生成の精度を維持または向上させること。

提案手法

• 選択的探索によって提案された複数の部分領域からCNN特徴量を抽出し、局所的・二次的物体に焦点を当てる。
• 局所的に集約された記述子のベクトル（VLAD）符号化を用い、CNN特徴量をコードワードにクラスタリングしてコンパクトな表現を生成する。
• 特徴マップを階層的な空間的ビンに分割することで、空間的構造を保持する空間的ピラミッドVLADを実装する。
• VLAD符号化後にPCAを適用し、元のCNN特徴量サイズの最小3%まで次元削減を実現する。
• LSTMベースのキャプション生成とVLAD符号化特徴量を統合し、詳細で局所的認識のあるキャプションを生成する。
• アブレーションスタディを通じて、クラスタ数や空間的ピラミッドレベルなどのハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 部分領域からのCNN特徴量のVLAD符号化は、全体画像のCNN特徴量と比較して、局所情報をよりよく保持するコンパクトな画像表現を生成できるか？
• RQ2 標準のVLADや生のCNN特徴量と比較して、空間的ピラミッドVLADは画像キャプションにおける局所化精度をどのように向上させるか？
• RQ3 CNN特徴量にVLADを適用する際の、次元削減とキャプション性能の最適なトレードオフは何か？
• RQ4 提案手法は、人間がアノテートした正解キャプションよりも、局所的・二次的物体をより正確に記述するキャプションを生成できるか？
• RQ5 標準のCNN特徴量とVLAD符号化された部分領域特徴量を組み合わせた場合、全体的なキャプション生成性能とロバスト性にどのような影響を与えるか？

主な発見

• VLAD符号化により、CNN特徴量の次元を元のサイズの最小3%まで削減しつつ、同等の性能を維持した。
• 空間的ピラミッドVLADにより、局所的・二次的物体の記述能力が向上し、キャプション品質が顕著に向上した。
• 提案手法は、複数の事例で人間がアノテートした正解キャプションよりも、局所的要素に関する詳細を多く含むキャプションを生成した。
• 特に局所的コンテンツが豊富な画像において、標準のCNN特徴量よりも二次的物体をよりよく捉えることができた。
• VLAD符号化特徴量と標準のCNN特徴量を組み合わせた場合、次元が増加し収束の問題が生じたため、評価スコアがわずかに低下した。
• VLAD符号化特徴量にPCAを適用することで性能が向上したため、両方の特徴量タイプに対して次元削減によるさらなる最適化が可能であると考えられる。