[論文レビュー] DenseCap: Fully Convolutional Localization Networks for Dense Captioning

Justin Johnson, Andrej Karpathy+1 more|arXiv (Cornell University)|Nov 24, 2015

Multimodal Machine Learning Applications参考文献 48被引用数 83

ひとこと要約

本論文では、新しい微分可能で密度的な局所化層を用いて、1枚の画像内の複数の領域を同時に局所化および記述するエンドツーエンドの密度的キャプションを可能にする、完全畳み込み局所化ネットワーク（FCLN）であるDenseCapを提案する。このモデルは、Visual Genomeデータセットにおいて、生成およびリtrievalの両タスクで最先端の性能を達成し、従来の手法よりも精度と速度に優れ、領域提案ネットワークの必要性を排除する。

ABSTRACT

We introduce the dense captioning task, which requires a computer vision system to both localize and describe salient regions in images in natural language. The dense captioning task generalizes object detection when the descriptions consist of a single word, and Image Captioning when one predicted region covers the full image. To address the localization and description task jointly we propose a Fully Convolutional Localization Network (FCLN) architecture that processes an image with a single, efficient forward pass, requires no external regions proposals, and can be trained end-to-end with a single round of optimization. The architecture is composed of a Convolutional Network, a novel dense localization layer, and Recurrent Neural Network language model that generates the label sequences. We evaluate our network on the Visual Genome dataset, which comprises 94,000 images and 4,100,000 region-grounded captions. We observe both speed and accuracy improvements over baselines based on current state of the art approaches in both generation and retrieval settings.

研究の動機と目的

• 複数の画像領域の局所化と自然言語による記述を統合する1つのタスクとしての密度的キャプションを実現すること：これは、複数の領域の局所化と自然言語による記述を同時に必要とする。
• 1回の順伝播で画像を処理する完全畳み込みアーキテクチャを構築し、外部の領域提案を回避すること。
• 新規に開発された微分可能で完全な局所化層を用いて、局所化とキャプション生成の両方をエンドツーエンドで学習可能にする。
• 大規模なベンチマークにおいて、生成およびリtrievalの両設定で、従来の手法よりも性能と効率を向上させること。
• テスト時における自然言語によるクエリを用いて、任意の視覚的概念を局所化できるオープンワールドのオブジェクト検出を可能にすること。

提案手法

• モデルは、画像特徴を抽出するための畳み込みニューラルネットワーク（CNN）を用い、その後に、双線形補間を用いて活性化を抽出することで、領域提案を予測する新規な完全微分可能な密度的局所化層を配置する。
• 局所化層はネットワーク内に挿入され、領域提案を介した逆伝播を可能にし、領域提案ネットワークを必要とせずにエンドツーエンド学習を可能にする。
• 領域特徴は全結合層を経て、再帰的ニューラルネットワーク（RNN）言語モデルに供給され、記述的なキャプションが生成される。
• ネットワーク全体は、検出とキャプション生成の目的関数を統合した1回の最適化ステップでエンドツーエンドに学習される。
• 推論時、モデルは局所化層を用いて上位100件の領域提案を生成し、その後RNNがスコアリングを行いキャプション生成が行われる。
• 本手法は、テスト時に自然言語クエリを用いて領域を局所化できるため、事前に定義されたオブジェクトカテゴリを必要とせず、オープンワールド検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、エンドツーエンドで学習可能な形で、密度的な局所化と自然言語によるキャプション生成を同時に実行できるか？
• RQ2 微分可能で完全な畳み込み局所化層は、非微分可能な領域提案手法と比較して、性能と効率をどのように向上させるか？
• RQ3 テスト時に自然言語クエリを用いて、モデルがどれほどオープンワールド検出に一般化できるか？
• RQ4 提案されたFCLNアーキテクチャは、Visual Genomeデータセットにおいて、生成およびリtrievalの両設定で、既存の最先端モデルを上回る性能を示すか？
• RQ5 モデルは、オブジェクトだけでなく、部位、属性、およびオブジェクト間の相互作用を自由形式の記述で正しく局所化できるか？

主な発見

• FCLNモデルは、ランキングと局所化の両面でFull Image RNNベースラインを上回り、中央順位（median rank）を13から5に低下させ、0.5 IoUにおける局所化リcall at 0.5 IoUを0.053から0.153に向上させた。
• モデルはRegion RNNベースラインを改善し、中央順位を7から5に低下させ、0.5 IoUにおける局所化リcallを0.108から0.153に向上させた。
• モデルはリtrievalタスクにおいて優れた性能を示し、クエリフレーズと局所化された画像領域との間の強い整合性を示した。
• 定性的な結果から、モデルは小さなオブジェクト、部位、属性、および「屋外でテニスをやっている男性」や「クロームの排気管」のような行動まで正しく局所化できている。
• モデルはオープンワールドオブジェクト検出を可能にし、「キリンの頭部」や「白いテニスシューズ」のようなフレーズを正しく局所化したが、空間的区別（例：「バスの前輪」）には苦労した。
• モデルは、RPNやEdgeBoxesのような非微分可能な領域提案機構の必要性を排除し、完全なエンドツーエンド学習と高速な推論を可能にした。