[论文解读] A Review on Intelligent Object Perception Methods Combining Knowledge-based Reasoning and Machine Learning

Filippos Gouidis, Alexandros Vassiliades+4 more|arXiv (Cornell University)|Dec 26, 2019

Multimodal Machine Learning Applications参考文献 61被引用 9

一句话总结

本文综述了将基于知识的推理与机器学习相结合的混合方法，以提升计算机视觉中智能物体感知的性能。通过将符号化表示、常识性知识和因果推理与数据驱动模型结合，该研究展示了在物体识别、场景理解及视觉推理任务中性能、泛化能力与可解释性方面的显著提升。

ABSTRACT

Object perception is a fundamental sub-field of Computer Vision, covering a multitude of individual areas and having contributed high-impact results. While Machine Learning has been traditionally applied to address related problems, recent works also seek ways to integrate knowledge engineering in order to expand the level of intelligence of the visual interpretation of objects, their properties and their relations with their environment. In this paper, we attempt a systematic investigation of how knowledge-based methods contribute to diverse object perception tasks. We review the latest achievements and identify prominent research directions.

研究动机与目标

• 探究基于知识的推理如何增强机器学习在智能物体感知任务中的表现。
• 识别将符号化人工智能与数据驱动方法结合以提升视觉理解的关键研究方向。
• 分析常识性、因果性和关系性推理在推动物体感知超越纯数据驱动学习中的作用。
• 评估开放领域知识与形式语义学对物体感知系统的影响。
• 探索混合模型在实现视觉系统更好泛化能力、鲁棒性与可解释性方面的潜力。

提出的方法

• 系统性回顾结合机器学习与符号化知识表示的混合物体感知系统的最新文献。
• 将知识融合划分为三大支柱：表达性强的符号化模型、常识性知识的利用，以及通过混合架构增强学习。
• 分析知识图谱、本体论与语义网技术在视觉任务中用于上下文、空间与关系推理的应用。
• 研究因果推理与反事实推理在克服黑箱深度学习模型局限性中的作用。
• 评估马尔可夫逻辑网络与松散耦合的符号-概率模型等混合框架在小样本数据集上实现更好泛化的能力。
• 综述将视觉与文本嵌入融合知识库的技术，以支持视觉问答与场景理解中的复杂推理。

实验结果

研究问题

• RQ1 符号化知识表示在多大程度上能提升机器学习模型在物体感知中的鲁棒性与可解释性？
• RQ2 常识性知识在使系统超越观测数据对视觉场景进行推理中发挥何种作用？
• RQ3 在低数据场景下，结合基于知识的推理与深度学习的混合模型在多大程度上能优于端到端学习？
• RQ4 如何有效将因果推理与关系推理集成到视觉系统中，以支持反事实与可解释性人工智能？
• RQ5 在紧密集成符号化与神经方法以实现智能感知方面，当前面临的关键挑战与开放研究方向是什么？

主要发现

• 松散耦合的符号化推理与机器学习集成在小样本数据集上实现了比端到端深度网络更高的准确率，而在大规模数据集上性能相当。
• 使用形式语义学与开放领域知识库使系统能够执行复杂的推理任务，如空间、时间与因果推理。
• 符号化模型通过允许对训练数据分布之外的抽象概念、关系与约束进行推理，显著提升了泛化能力。
• 常识性知识的集成提升了视觉问答与场景理解任务的性能，尤其在分布外或模糊场景中表现更优。
• 当前混合系统在非单调推理与可扩展因果推理方面仍面临挑战，尤其是在整合异构知识源时。
• 知识驱动推理的集成显著提升了可解释性，并支持反事实推理，有效缓解了深度学习模型的黑箱问题。