[论文解读] Auto-Encoding Graphical Inductive Bias for Descriptive Image Captioning

Xu Yang, Kaihua Tang+2 more|arXiv (Cornell University)|Dec 6, 2018

Multimodal Machine Learning Applications参考文献 43被引用 2

一句话总结

该论文提出了一种名为场景图自编码器（SGAE）的新框架，通过利用场景图和共享词典来建模物体关系与语言模式，将语言归纳偏置整合到图像字幕生成中。通过在 $σ \rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$ 管道中强制跨领域传递结构化语言先验，SGAE 实现了最先进性能，在 Karpathy 分割上达到 127.8 的 CIDEr-D 分数，在官方 MS-COCO 测试服务器上达到 125.5 的 CIDEr-D 分数。

ABSTRACT

We propose Scene Graph Auto-Encoder (SGAE) that incorporates the language inductive bias into the encoder-decoder image captioning framework for more human-like captions. Intuitively, we humans use the inductive bias to compose collocations and contextual inference in discourse. For example, when we see the relation `person on bike', it is natural to replace `on' with `ride' and infer `person riding bike on a road' even the `road' is not evident. Therefore, exploiting such bias as a language prior is expected to help the conventional encoder-decoder models less likely overfit to the dataset bias and focus on reasoning. Specifically, we use the scene graph --- a directed graph ($\mathcal{G}$) where an object node is connected by adjective nodes and relationship nodes --- to represent the complex structural layout of both image ($\mathcal{I}$) and sentence ($\mathcal{S}$). In the textual domain, we use SGAE to learn a dictionary ($\mathcal{D}$) that helps to reconstruct sentences in the $\mathcal{S} ightarrow \mathcal{G} ightarrow \mathcal{D} ightarrow \mathcal{S}$ pipeline, where $\mathcal{D}$ encodes the desired language prior; in the vision-language domain, we use the shared $\mathcal{D}$ to guide the encoder-decoder in the $\mathcal{I} ightarrow \mathcal{G} ightarrow \mathcal{D} ightarrow \mathcal{S}$ pipeline. Thanks to the scene graph representation and shared dictionary, the inductive bias is transferred across domains in principle. We validate the effectiveness of SGAE on the challenging MS-COCO image captioning benchmark, e.g., our SGAE-based single-model achieves a new state-of-the-art $127.8$ CIDEr-D on the Karpathy split, and a competitive $125.5$ CIDEr-D (c40) on the official server even compared to other ensemble models.

研究动机与目标

• 为解决传统编码器-解码器模型在过拟合数据集偏差方面的局限性，通过引入类人推理的语言归纳偏置。
• 利用场景图作为图像和句子的统一表示，建模复杂的视觉与语言结构。
• 通过学习一个编码语言先验的共享词典，实现在视觉与语言领域之间的归纳偏置迁移。
• 通过支持上下文推理和习语生成（如从 'on' 推断出 'riding'，在 'person on bike' 中），提升字幕质量。
• 在不依赖集成方法的前提下，实现在 MS-COCO 图像字幕基准上的最先进性能。

提出的方法

• 将图像和句子均表示为场景图 ($\mathcal{G}$)，其中对象节点通过关系和形容词节点连接，以捕捉结构复杂性。
• 训练场景图自编码器（SGAE）通过 $\mathcal{S} \rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$ 管道重建句子，其中 $\mathcal{D}$ 从文本数据中学习语言先验。
• 将学习到的词典 $\mathcal{D}$ 作为视觉-语言管道 $\mathcal{I} \rightarrow \mathcal{G} \rightarrow \mathcal{D} \rightarrow \mathcal{S}$ 中的共享归纳偏置，以指导字幕生成。
• 利用共享的 $\mathcal{D}$ 将语言归纳偏置从文本迁移至视觉领域，实现超越显式视觉线索的推理（例如，从 'on bike' 推断出 'road'）。
• 采用端到端训练，联合优化视觉特征提取、场景图构建和字幕生成，其中语言先验编码在 $\mathcal{D}$ 中。
• 将该框架应用于 MS-COCO 基准，使用 Karpathy 分割和官方测试集评估性能，采用 CIDEr-D 等标准指标。

实验结果

研究问题

• RQ1 在图像字幕模型中引入语言归纳偏置，是否能提升其推理能力，超越对数据集偏差的记忆？
• RQ2 语言模式的共享词典在多大程度上能有效将结构化归纳偏置从文本迁移至视觉领域？
• RQ3 场景图表示是否能增强对复杂物体关系的建模，从而提升字幕的连贯性与多样性？
• RQ4 通过自编码方式引入语言先验，在多大程度上能提升图像字幕的泛化能力和零样本推理能力？
• RQ5 所提出的方法是否在不依赖集成模型的前提下，实现在标准基准上的最先进性能？

主要发现

• 所提出的 SGAE 模型在 MS-COCO 基准的 Karpathy 分割上实现了新的最先进 CIDEr-D 得分 127.8。
• 在官方 MS-COCO 测试服务器上，单模型 SGAE 达到了具有竞争力的 125.5 CIDEr-D（c40），优于许多基于集成的模型。
• 该模型通过生成合理推理，展现出改进的推理能力，例如在 'person on bike' 中，即使 'bike' 并未明确在道路上，也能将 'on' 替换为 'riding'。
• 共享词典 $\mathcal{D}$ 有效编码了指导字幕生成的语言先验，减少了对训练数据偏差的过拟合。
• 场景图与语言自编码的结合，实现了归纳偏置的有效跨领域迁移，提升了事实准确性和上下文准确性。
• 该方法在单模型下实现高性能，表明其具备强大的泛化能力，并减少了对集成技术的依赖。