[论文解读] Are Elephants Bigger than Butterflies? Reasoning about Sizes of Objects

Hessam Bagherinezhad, Hannaneh Hajishirzi+2 more|arXiv (Cornell University)|Feb 2, 2016

Multimodal Machine Learning Applications参考文献 33被引用 19

一句话总结

本文提出一种自监督方法，利用大规模网络文本和视觉数据推断物体之间的相对大小，通过建模对数正态大小分布的大小图以及利用传递性推理来提高准确性。该方法在相对大小比较任务中达到83.5%的准确率，显著优于仅使用文本或仅使用视觉的基线模型，证明了多模态信号在物理大小常识推理中的互补价值。

ABSTRACT

Human vision greatly benefits from the information about sizes of objects. The role of size in several visual reasoning tasks has been thoroughly explored in human perception and cognition. However, the impact of the information about sizes of objects is yet to be determined in AI. We postulate that this is mainly attributed to the lack of a comprehensive repository of size information. In this paper, we introduce a method to automatically infer object sizes, leveraging visual and textual information from web. By maximizing the joint likelihood of textual and visual observations, our method learns reliable relative size estimates, with no explicit human supervision. We introduce the relative size dataset and show that our method outperforms competitive textual and visual baselines in reasoning about size comparisons.

研究动机与目标

• 解决人工智能系统中缺乏全面且可扩展的物体大小信息资源的问题。
• 开发一种无需人工显式标注即可推断相对和绝对大小估计的方法。
• 利用多模态数据中物体对之间大小关系的传递性。
• 通过将大小知识整合到知识库中，提升视觉与自然语言处理中的常识推理能力。
• 证明结合文本与视觉信号可获得比单一模态更准确的大小估计。

提出的方法

• 该方法构建一个大小图，其中节点表示物体大小的对数正态分布，边编码从图像中共同检测到的物体对之间推导出的相对大小关系。
• 将大小估计建模为对文本和视觉观测的联合最大似然优化，共同建模来自网络数据的噪声信号。
• 视觉数据通过弱监督目标检测器和单图深度估计器进行处理，以从边界框比例和粗略深度估计中推断相对大小。
• 通过搜索查询模板挖掘文本数据，提取如“X 比 Y 大”等与大小相关的表达式，用于模型训练。
• 模型采用传递性推理：若 A > B 且 B > C，则 A > C，从而实现对无直接共现的物体对的推理。
• 可将少数物体的真实大小值作为约束条件，通过似然最大化提升不确定节点的估计精度。

实验结果

研究问题

• RQ1 仅使用大规模网络文本和视觉数据，自监督方法能否有效推断相对物体大小？
• RQ2 在大小估计方面，文本和视觉信号在可靠性与信息量方面有何差异？
• RQ3 在物体对共现频率较低的情况下，传递性推理能在多大程度上提升大小推断的性能？
• RQ4 在大小比较任务中，多模态融合是否优于单一模态基线？
• RQ5 包含少量真实大小值如何影响模型的整体准确率？

主要发现

• 所提方法在相对大小比较任务中达到83.5%的准确率，显著优于竞争性NLP基线（63.4%）和仅视觉的基线模型。
• 模型表明，结合文本与视觉数据可获得比单独使用任一模态更高的准确率，证实了两种模态的互补性。
• 无论声明率高低，模型的精确度均保持稳定，而仅语言基线在高置信度水平下精确度下降，表明其校准性较差。
• 长颈鹿、摩托车和房屋等物体更受益于文本数据，而西瓜、苹果和驴等物体则更依赖视觉数据，显示出模态特异性优势。
• 引入少数物体的真实大小值可提升整体准确率，证明模型能将可靠大小信息传播至不确定节点。
• 模型能以合理置信度预测非直观的大小比较，例如 P(window > motorbike) = 0.3 和 P(shoe > face) = 0.49，表明其具备稳健的统计推理能力。