[論文レビュー] Hierarchy Parsing for Image Captioning

Ting Yao, Yingwei Pan+2 more|arXiv (Cornell University)|Sep 9, 2019

Multimodal Machine Learning Applications参考文献 37被引用数 4

ひとこと要約

本論文は、インスタンス、領域、および全体の画像の3段階の階層を用いて視覚的理解をモデル化する、新しい画像エンコーダー・アーキテクチャであるHIerarchy Parsing (HIP) を提案する。Tree-LSTM を用いて特徴量を階層的に集約することで、画像キャプション生成性能が向上し、GCN強化特徴量と組み合わせた際、COCO Karpathy テストスプリットで CIDEr-D 130.6 を達成し、新たな最先端性能を樹立した。

ABSTRACT

It is always well believed that parsing an image into constituent visual patterns would be helpful for understanding and representing an image. Nevertheless, there has not been evidence in support of the idea on describing an image with a natural-language utterance. In this paper, we introduce a new design to model a hierarchy from instance level (segmentation), region level (detection) to the whole image to delve into a thorough image understanding for captioning. Specifically, we present a HIerarchy Parsing (HIP) architecture that novelly integrates hierarchical structure into image encoder. Technically, an image decomposes into a set of regions and some of the regions are resolved into finer ones. Each region then regresses to an instance, i.e., foreground of the region. Such process naturally builds a hierarchal tree. A tree-structured Long Short-Term Memory (Tree-LSTM) network is then employed to interpret the hierarchal structure and enhance all the instance-level, region-level and image-level features. Our HIP is appealing in view that it is pluggable to any neural captioning models. Extensive experiments on COCO image captioning dataset demonstrate the superiority of HIP. More remarkably, HIP plus a top-down attention-based LSTM decoder increases CIDEr-D performance from 120.1% to 127.2% on COCO Karpathy test split. When further endowing instance-level and region-level features from HIP with semantic relation learnt through Graph Convolutional Networks (GCN), CIDEr-D is boosted up to 130.6%.

研究の動機と目的

• インスタンスから画像レベルへの階層的視覚構造をモデル化することで、画像キャプション生成の性能を向上させること。
• 既存のニューラルキャプションモデルに見られる構成的視覚理解の欠如を是正すること。
• 複数レベルの視覚的表現を強化する柔軟でプラグイン可能な特徴量精錬器を設計すること。
• 階層認識特徴学習の一般化可能性を認識タスクにおいて検証すること。

提案手法

• Faster R-CNN および Mask R-CNN を用いて領域とインスタンスを検出・セグメンテーションし、3段階の階層を構築する。
• 木構造の長短期記憶（Tree-LSTM）ネットワークが、葉ノード（インスタンス）から根ノード（全体の画像）へと特徴量を段階的に集約し、階層的文脈を処理する。
• インスタンスおよび領域の特徴量は、視覚的要素間の有向エッジを用いて構築された意味的グラフにより強化され、視覚的関係がモデル化される。
• グラフ畳み込みネットワーク（GCN）を意味的グラフに適用し、関係性の文脈をインスタンスおよび領域の特徴量に統合する。
• HIP が得る画像レベル、領域レベル、インスタンスレベルの特徴量のハイブリッドは、標準的なアテンションベースのLSTMデコーダーに供給され、文生成が行われる。
• このフレームワークは、Up-Down や GCN-LSTM などの既存のキャプションモデルと互換性があり、即座に統合可能なプラグアンドプレイ設計である。

実験結果

リサーチクエスチョン

• RQ1 インスタンスから領域、そして全体の画像へと至る階層的構造をモデル化することで、画像キャプション生成性能が向上するか？
• RQ2 Tree-LSTM を用いた階層的特徴量の集約は、キャプション生成のための視覚的表現をどのように向上させるか？
• RQ3 GCN を用いて視覚的関係を統合することで、階層的特徴量統合を超えて、キャプション品質がどの程度向上するか？
• RQ4 提案された階層パースフレームワークは、キャプション生成を超えて、認識タスクなど他のビジョンタスクにも一般化可能か？
• RQ5 パフォーマンスの観点から最適な階層構築の閾値は何か？

主な発見

• Top-down アテンションベースのLSTMデコーダーを用いたHIPは、COCO Karpathy テストスプリットで CIDEr-D を 120.1% から 127.2% まで向上させた。
• GCN を用いて意味的関係をモデル化した場合、CIDEr-D スコアは 130.6% に達し、COCO で新たな最先端性能を樹立した。
• 人的評価では、GCN-LSTM+HIP のキャプションの 76.5% が人間がアノテートしたキャプションと同等以上であり、85.2% がターニングテストに合格した。
• 階層構築の最適な閾値パラメータ ε は 0.1 であり、METEOR および CIDEr-D の両方の指標でパフォーマンスを最大化した。
• 認識タスクにおいて、HIP 特徴量は Up-Down からの平均プール特徴量と比較して、C-F1 で 2%、O-F1 で 3.2% の向上を示し、一般化可能性を裏付けた。
• アブレーションスタディにより、階層的 Tree-LSTM と GCN 強化特徴量の両方がパフォーマンス向上に不可欠であることが確認された。