[论文解读] Hierarchy Parsing for Image Captioning

Ting Yao, Yingwei Pan+2 more|arXiv (Cornell University)|Sep 9, 2019

Multimodal Machine Learning Applications参考文献 37被引用 4

一句话总结

本文提出了一种名为HIerarchy Parsing（HIP）的新颖图像编码器架构，通过使用Tree-LSTM对实例、区域和整幅图像三个层级的视觉特征进行分层聚合，实现对视觉理解的分层建模。当与GCN增强的特征结合时，HIP在COCO Karpathy测试集上实现了130.6的CIDEr-D得分，创下新的最先进水平。

ABSTRACT

It is always well believed that parsing an image into constituent visual patterns would be helpful for understanding and representing an image. Nevertheless, there has not been evidence in support of the idea on describing an image with a natural-language utterance. In this paper, we introduce a new design to model a hierarchy from instance level (segmentation), region level (detection) to the whole image to delve into a thorough image understanding for captioning. Specifically, we present a HIerarchy Parsing (HIP) architecture that novelly integrates hierarchical structure into image encoder. Technically, an image decomposes into a set of regions and some of the regions are resolved into finer ones. Each region then regresses to an instance, i.e., foreground of the region. Such process naturally builds a hierarchal tree. A tree-structured Long Short-Term Memory (Tree-LSTM) network is then employed to interpret the hierarchal structure and enhance all the instance-level, region-level and image-level features. Our HIP is appealing in view that it is pluggable to any neural captioning models. Extensive experiments on COCO image captioning dataset demonstrate the superiority of HIP. More remarkably, HIP plus a top-down attention-based LSTM decoder increases CIDEr-D performance from 120.1% to 127.2% on COCO Karpathy test split. When further endowing instance-level and region-level features from HIP with semantic relation learnt through Graph Convolutional Networks (GCN), CIDEr-D is boosted up to 130.6%.

研究动机与目标

• 通过从实例到图像层级的分层视觉结构建模，提升图像字幕生成性能。
• 解决现有神经网络字幕模型中缺乏组合性视觉理解的问题。
• 设计一种灵活的即插即用型特征优化器，以增强多层级视觉表征用于字幕生成。
• 验证分层感知特征学习在识别任务中的泛化能力。

提出的方法

• 该方法使用Faster R-CNN和Mask R-CNN检测并分割区域与实例，构建三层次级结构。
• 树状结构的长短期记忆网络（Tree-LSTM）从叶节点（实例）开始，逐层向上聚合至根节点（整幅图像），实现分层上下文的聚合。
• 通过在视觉元素之间构建带方向边的语义图，增强实例与区域的特征，以建模视觉关系。
• 在语义图上应用图卷积网络（GCN），利用关系上下文丰富实例与区域的特征。
• 将HIP生成的图像级、区域级和实例级特征融合后，输入标准的基于注意力机制的LSTM解码器，用于句子生成。
• 该框架设计为即插即用，可与现有字幕模型（如Up-Down和GCN-LSTM）兼容。

实验结果

研究问题

• RQ1 从实例到区域再到整幅图像的分层结构建模，是否能提升图像字幕生成性能？
• RQ2 基于Tree-LSTM的分层特征聚合，如何增强字幕生成的视觉表征？
• RQ3 通过GCN引入视觉关系后，其对字幕质量的提升程度是否超过单纯的分层特征融合？
• RQ4 所提出的分层解析框架是否可泛化至图像字幕之外的其他视觉任务（如识别任务）？
• RQ5 在性能最优的前提下，构建分层结构的最优阈值参数是多少？

主要发现

• 当与自顶向下的注意力机制LSTM解码器结合时，HIP在COCO Karpathy测试集上的CIDEr-D得分从120.1%提升至127.2%。
• 当与GCN结合以建模语义关系时，CIDEr-D得分达到130.6%，创下COCO数据集的新最先进水平。
• 人工评估显示，76.5%的GCN-LSTM+HIP生成字幕与人类标注字幕质量相当或更优，85.2%的字幕通过图灵测试。
• 构建分层结构的最优阈值参数ε为0.1，该值在METEOR和CIDEr-D指标上均实现性能最大化。
• 在识别任务中，HIP特征在C-F1和O-F1指标上分别较Up-Down模型的平均池化特征提升2%和3.2%，证明了其泛化能力。
• 消融实验确认，分层Tree-LSTM结构与GCN增强特征对性能提升均具有关键作用。