[论文解读] A Multi-World Approach to Question Answering about Real-World Scenes based on Uncertain Input

Mateusz Malinowski, Mario Fritz|arXiv (Cornell University)|Oct 1, 2014

Multimodal Machine Learning Applications被引用 262

一句话总结

本文提出了一种多世界贝叶斯方法用于视觉问答，将深度学习模型生成的不确定场景分割结果与自然语言问题的符号化推理相结合。通过对外部模糊视觉输入的多种解释进行边缘化处理，该方法在复杂的真实世界室内场景中提升了准确率，在新的人工标注数据集（包含12,000对问题-答案）上实现了12.73%的准确率和18.10%的WUPS@0.9。

ABSTRACT

We propose a method for automatically answering questions about images by bringing together recent advances from natural language processing and computer vision. We combine discrete reasoning with uncertain predictions by a multi-world approach that represents uncertainty about the perceived world in a bayesian framework. Our approach can handle human questions of high complexity about realistic scenes and replies with range of answer like counts, object classes, instances and lists of them. The system is directly trained from question-answer pairs. We establish a first benchmark for this task that can be seen as a modern attempt at a visual turing test.

研究动机与目标

• 解决由于分割错误和模糊性导致视觉感知固有不确定性的现实世界场景中的问答挑战。
• 在统一的贝叶斯框架中统一概率视觉感知与符号化语言推理。
• 建立一个新的视觉问答基准数据集，以模拟现代视觉图灵测试。
• 评估视觉输入不确定性对问答性能的影响，并展示多世界推理的优势。

提出的方法

• 系统基于深度学习模型生成的不确定语义分割结果，构建多个潜在的“世界”，代表同一张图像的不同解释。
• 每个世界对应于从RGBD图像中推导出的对象类别和空间关系的概率解释。
• 采用贝叶斯推理框架对所有可能的世界进行边缘化处理，以计算最可能的答案。
• 该方法使用语义解析器将问题映射为逻辑形式，并在所有采样的世界中进行评估。
• 支持复杂的答案类型，包括计数、对象类别、实例和列表，从而实现对空间和关系查询的推理。
• 模型从问题-答案对端到端训练，无需人工标注的逻辑形式。

实验结果

研究问题

• RQ1 如何有效建模并传播视觉场景分割中的不确定性到问答处理流程中？
• RQ2 与单世界基线相比，多世界方法是否能提升在复杂真实世界视觉场景中的推理性能？
• RQ3 自动标注与人工标注的场景分割对问答准确率和鲁棒性有何影响？
• RQ4 不同答案类型（如计数、颜色或对象列表）如何挑战系统推理与感知能力？
• RQ5 多世界框架在多大程度上减少了来自噪声视觉输入的误差传播？

主要发现

• 多世界方法在人工标注数据集上实现了12.73%的准确率和18.10%的WUPS@0.9，显著优于单世界基线（9.69%准确率）。
• 系统在处理复杂查询（如计数、否定和最高级）方面表现更优，定性结果显示对高层概念的表征更佳。
• 人工标注者更偏好多世界方法而非单世界版本，p值 < 0.01，与定量性能提升一致。
• 自动分割与人工分割之间的性能差距显著，37类设置下准确率从12.47%（人工）下降至9.69%（自动）。
• 人工基线在37类设置下达到60.27%的准确率，表明仍有巨大提升空间，并为未来系统设定了实际上限。
• 失败案例主要源于缺失或误分类的分割（如未检测到枕头），凸显了问答系统对视觉感知错误的高度敏感性。