[论文解读] ImageSpirit: Verbal Guided Image Parsing

Ming‐Ming Cheng, Shuai Zheng+7 more|Radar (Oxford Brookes University)|Oct 16, 2013

Advanced Image and Video Retrieval Techniques参考文献 54被引用 32

一句话总结

本文提出 ImageSpirit 系统，通过将名词视为对象标签、形容词视为视觉属性，联合建模二者以实现交互式、基于自然语言的图像解析。该系统利用多标签 CRF 实现像素级分割，用户可通过自然语言指令对结果进行优化，在真实世界图像上通过定量评估和用户研究验证，实现了高质量、符合人类直觉的交互式场景解析。

ABSTRACT

Humans describe images in terms of nouns and adjectives while algorithms operate on images represented as sets of pixels. Bridging this gap between how humans would like to access images versus their typical representation is the goal of image parsing, which involves assigning object and attribute labels to pixel. In this paper we propose treating nouns as object labels and adjectives as visual attribute labels. This allows us to formulate the image parsing problem as one of jointly estimating per-pixel object and attribute labels from a set of training images. We propose an efficient (interactive time) solution. Using the extracted labels as handles, our system empowers a user to verbally refine the results. This enables hands-free parsing of an image into pixel-wise object/attribute labels that correspond to human semantics. Verbally selecting objects of interests enables a novel and natural interaction modality that can possibly be used to interact with new generation devices (e.g. smart phones, Google Glass, living room devices). We demonstrate our system on a large number of real-world images with varying complexity. To help understand the tradeoffs compared to traditional mouse based interactions, results are reported for both a large scale quantitative evaluation and a user study.

研究动机与目标

• 弥合人类语言描述（名词和形容词）与像素级图像表示之间的语义鸿沟。
• 开发一种高效、交互式的图像解析系统，支持对对象和属性标签的自然语言优化。
• 实现无需手动操作的自然语言交互，适用于智能手表、Google Glass 和客厅系统等设备。
• 在定量评估和用户研究设置下，评估自然语言交互相较于传统鼠标操作优化的有效性。

提出的方法

• 将名词视为对象类别标签，形容词视为视觉属性标签，构建用于图像解析的语义操作柄。
• 采用一种新颖的多标签因子化条件随机场（CRF），基于图像特征和训练数据联合估计每个像素的对象和属性标签。
• 利用训练数据学习到的得分整合对象和属性势能，实现联合推理以提升解析精度。
• 允许用户通过自然语言指令（如“优化玻璃图片”）对解析结果进行优化，重新加权 CRF 项以调整预测结果。
• 利用联合 CRF 模型的因子分解结构，采用基于滤波的推理技术，确保交互式响应速度。
• 支持下游编辑任务，如颜色/材质更改、对象形变、重新定位及语义动画，基于解析出的区域进行操作。

实验结果

研究问题

• RQ1 自然语言描述（名词和形容词）能否有效用作交互式操作柄，以优化图像解析结果？
• RQ2 如何通过联合多标签 CRF 模型建模对象与属性之间的共生关系，从而提升解析精度？
• RQ3 在交互式速度下，自然语言指令在生成高质量、符合人类直觉的图像分割方面，相较于传统交互方式的优越程度如何？
• RQ4 当缺乏区分性属性时，自然语言优化的失败模式是什么，发生频率如何？
• RQ5 系统能否仅依赖属性描述泛化到训练集中未出现的对象？

主要发现

• 系统通过自然语言指令实现了高质量、交互式的图像解析，87% 的测试图像成功通过基于属性的指令完成优化。
• 用户研究和大规模定量评估表明，自然语言交互有效且直观，尤其适用于无手操作设备。
• 通过多标签 CRF 联合建模对象与属性，其解析性能优于分别建模的方法。
• 系统支持基于解析区域的一系列编辑操作，包括颜色更改、材质迁移、对象重定位和语义动画。
• 尽管存在局限性，仅 13% 的测试图像（78 张中的 10 张）因缺乏区分性属性而无法优化，表明系统具有较强的鲁棒性。
• 系统可通过依赖属性描述对训练集中未出现的对象进行分割，表明具备零样本泛化潜力。