[論文レビュー] SuperCaptioning: Image Captioning Using Two-dimensional Word Embedding

Baohua Sun, Lin Yang+5 more|arXiv (Cornell University)|May 25, 2019

Multimodal Machine Learning Applications参考文献 16被引用数 4

ひとこと要約

本稿では、2次元単語埋め込みを用いて視覚的および言語的特徴を1つのCNNモデル内で統合的に処理する、画像キャプション生成の新規手法SuperCaptioningを提案する。テキストを画像に似た表現に変換し、入力画像と組み合わせることで、Flickr30k上で高品質なキャプションを生成する。統一されたアーキテクチャ上でエンド・ツー・エンドに学習することで、従来の2ストリーム手法を上回る性能を達成する。

ABSTRACT

Language and vision are processed as two different modal in current work for image captioning. However, recent work on Super Characters method shows the effectiveness of two-dimensional word embedding, which converts text classification problem into image classification problem. In this paper, we propose the SuperCaptioning method, which borrows the idea of two-dimensional word embedding from Super Characters method, and processes the information of language and vision together in one single CNN model. The experimental results on Flickr30k data shows the proposed method gives high quality image captions. An interactive demo is ready to show at the workshop.

研究の動機と目的

• 現在の画像キャプションモデルが視覚と言語を別々に処理するという限界を是正すること。
• テキスト分類で既に用いられている2次元単語埋め込みの、画像キャプション生成への有効性を検討すること。
• エンド・ツー・エンドのキャプション生成を実現するため、画像とテキスト処理を1つのCNNモデルに統合すること。
• 低消費電力のCNNアクセラレータを搭載したデバイスでの効率的なインフェレンスを可能にすること。

提案手法

• 手法は、各文字が固定グリッド領域を占める「スクェアドイングリッシュワード（SEW）」技術を用いて、生テキストを2次元画像表現に変換する。
• 入力画像とテキスト埋め込みを1つの224×224 SuperCaptioning画像に統合し、画像を上部に、テキストを下部に配置する。
• ImageNetで事前学習されたSE-Net-154モデルをバックボーンとして用い、最終層を語彙サイズに対応する11,571クラスに再構成する。
• モデルはキャプションの次の単語を逐次予測し、EOS（文末）トークンが生成された、もしくは最大単語数（14）に達した時点で予測を終了する。
• 学習データは、各SuperCaptioning画像に、正解キャプションの次の単語をラベル付けすることで生成され、キャプション生成を多クラス分類タスクとして扱う。
• この手法は、テキスト分類で成功を収めたSuper Charactersフレームワークの成功を踏まえ、画像・言語統合モデリングに適応して画像キャプション生成に応用する。

実験結果

リサーチクエスチョン

• RQ1 2次元単語埋め込みを用いることで、1つのCNN内で視覚と言語を統合的に処理できるようになり、画像キャプションの性能が向上するか？
• RQ2 従来の2ストリームモデルと比較して、SuperCaptioning手法のキャプション品質および一貫性はどのように異なるか？
• RQ3 Flickr30kで最適なキャプション生成結果を得るために、ハイパーパrameter（例：フォントサイズ、カット長、リサイズ）はどのような値が適しているか？
• RQ4 本手法は、物体の数、色、背景の文脈、行動の詳細を捉えた記述的なキャプションを生成できるか？
• RQ5 低消費電力のエッジデバイスに搭載された専用CNNアクセラレータを想定した環境でも、本アプローチは適しているか？

主な発見

• SuperCaptioning手法は、ボートにライフジャケットを着た4人の男性がいる例のように、物体数を正確に記述する高品質なキャプションを生成する。
• モデルは色情報も効果的に捉えており、黒いコートを着た女性が赤い傘を差している例から、細かく精密な視覚的・言語的対応が可能であることが示された。
• 背景要因（例：山）を含む文脈豊かなキャプションを生成でき、強力なシーン理解能力を示している。
• パフォーマンスをとらえた詳細な行動記述（例：バレエで腕を広げたパフォーマー）を生成でき、動的シーンの捉え込み能力が確認された。
• Flickr30kで強力な性能を発揮しており、14語未満のキャプションに絞った結果、31,333枚の画像が保持された。
• 本手法は、特に新興の低消費電力アクセラレータを活用した環境において、効率的なCNN推論に依存しているため、デバイス上でのデプロイに適している。