[论文解读] Generating Multi-Sentence Lingual Descriptions of Indoor Scenes

Dahua Lin, Chen Kong+2 more|arXiv (Cornell University)|Feb 28, 2015

Multimodal Machine Learning Applications参考文献 37被引用 15

一句话总结

本文提出了一种新颖的框架，通过整合3D视觉解析、学习到的生成语法以及上下文一致的文本生成，用于生成复杂室内场景的多句自然语言描述。在ROUGE指标上，该方法显著优于基线方法，表明结构化的场景理解与语言连贯性对于生成高质量图像描述（超越单句输出）至关重要。

ABSTRACT

This paper proposes a novel framework for generating lingual descriptions of indoor scenes. Whereas substantial efforts have been made to tackle this problem, previous approaches focusing primarily on generating a single sentence for each image, which is not sufficient for describing complex scenes. We attempt to go beyond this, by generating coherent descriptions with multiple sentences. Our approach is distinguished from conventional ones in several aspects: (1) a 3D visual parsing system that jointly infers objects, attributes, and relations; (2) a generative grammar learned automatically from training text; and (3) a text generation algorithm that takes into account the coherence among sentences. Experiments on the augmented NYU-v2 dataset show that our framework can generate natural descriptions with substantially higher ROGUE scores compared to those produced by the baseline.

研究动机与目标

• 解决现有图像字幕方法仅生成单句描述的局限性，这些方法无法捕捉杂乱室内场景的复杂性。
• 通过建模连贯性、显著性、多样性及多句间的指代关系，提升描述质量。
• 开发一个统一框架，联合推断3D场景中的物体、属性和关系，以实现准确的语义表征。
• 直接从人类标注的描述中学习生成语法，以生成流畅自然的语言输出。
• 在包含每张场景最多五条描述的新标注数据集上评估该方法，实现对多句生成的现实评估。

提出的方法

• 基于CRF的3D视觉解析器联合推断RGB-D图像中的物体、其属性（如颜色、大小）以及空间关系，以构建场景图。
• 利用概率上下文无关文法（PCFG）框架，从训练描述中自动学习生成语法，以建模句法和语义模式。
• 将场景图转换为语义树，以编码物体显著性、逻辑顺序和指代链，用于句子生成。
• 一种文本生成算法应用可配置特征（如显著性加权、多样性控制、指代消解和属性包含）以生成流畅连贯的多句描述。
• 该框架使用学习到的联合嵌入空间对齐视觉与语言表征，实现对未见场景的泛化能力。
• 系统在增强版NYU-v2数据集上进行训练和评估，使用ROUGE指标进行评估。

实验结果

研究问题

• RQ1 统一框架能否联合建模视觉场景理解与语言连贯性，以生成与人类水平自然度相当的多句描述？
• RQ2 显著性、多样性、指代和属性等特征如何影响生成描述的流畅性与信息量？
• RQ3 与基于模板或检索的基线方法相比，从人类描述中端到端学习生成语法在多大程度上提升了描述质量？
• RQ4 与2D图像表征相比，结合物体属性与关系的3D场景解析是否能生成更准确且上下文相关的描述？
• RQ5 在ROUGE得分和语言质量方面，所提方法与基于检索的基线相比表现如何？

主要发现

• 所提方法在所有ROUGE指标上显著优于基于检索的基线，在真实值和解析输入设置下，ROUGE-1、ROUGE-2和ROUGE-SU4得分均持续提升。
• 使用全部五项特征（第5级配置）的设置取得了最高的ROUGE得分，表明结合显著性、多样性、指代、属性和场景概览可实现最有效的描述生成。
• 第3级及以上配置相比低级别配置表现出显著性能提升，证明了提供场景概览的首句的重要性。
• 指代和属性使用的整合减少了冗余并提升了语言流畅性，尽管这些改进未被n-gram指标（如ROUGE）完全捕捉。
• 该方法成功生成了多样、连贯且上下文准确的多句描述，如图4的定性示例所示，代词和描述性属性被恰当地使用。
• 尽管有所改进，部分句子序列仍略显不自然，原因在于模板选择的独立性，表明仍需改进对句子结构的序列建模。