[论文解读] Compensating Supervision Incompleteness with Prior Knowledge in Semantic Image Interpretation

Ivan Donadello, Luciano Serafini|arXiv (Cornell University)|Oct 1, 2019

Multimodal Machine Learning Applications参考文献 31被引用 4

一句话总结

本文提出使用逻辑张量网络（LTNs）通过整合逻辑背景知识与监督学习，以解决零样本视觉关系检测问题，在视觉关系数据集上显著提升性能。该方法通过利用逻辑约束弥补监督信息的不完整，超越了最先进方法，在谓词检测中实现100条召回率77.16%的性能表现。

ABSTRACT

Semantic Image Interpretation is the task of extracting a structured semantic description from images. This requires the detection of visual relationships: triples (subject,relation,object) describing a semantic relation between a subject and an object. A pure supervised approach to visual relationship detection requires a complete and balanced training set for all the possible combinations of (subject, relation, object). However, such training sets are not available and would require a prohibitive human effort. This implies the ability of predicting triples which do not appear in the training set. This problem is called zero-shot learning. State-of-the-art approaches to zero-shot learning exploit similarities among relationships in the training set or external linguistic knowledge. In this paper, we perform zero-shot learning by using Logic Tensor Networks, a novel Statistical Relational Learning framework that exploits both the similarities with other seen relationships and background knowledge, expressed with logical constraints between subjects, relations and objects. The experiments on the Visual Relationship Dataset show that the use of logical constraints outperforms the current methods. This implies that background knowledge can be used to alleviate the incompleteness of training sets.

研究动机与目标

• 解决因训练数据在语义图像理解中存在不完整与不平衡而导致的零样本视觉关系检测挑战。
• 通过引入显式的逻辑背景知识，克服纯监督方法或基于语言知识方法的局限性。
• 通过结合数据驱动学习与逻辑推理，提升对未见视觉关系的泛化能力。
• 证明逻辑约束能够有效降低现实世界数据集中标注不完整带来的影响。
• 评估新特征与新型损失函数在LTN框架内提升模型性能的有效性。

提出的方法

• 采用逻辑张量网络（LTNs），一种统计关系学习框架，联合学习视觉数据与逻辑约束。
• 引入捕捉边界框之间空间关系的几何特征，以提升三元组预测的准确性。
• 将背景知识表述为一阶逻辑公理，例如 ∀x,y(ride(x,y)→elephant(y)∨horse(y)) 以及当x不是骑手时 ¬ride(x,y)。
• 采用基于逻辑公理真值调和平均的新型损失函数，以稳定训练过程并提升约束遵守程度。
• 使用可微逻辑框架端到端训练模型，支持通过逻辑公式的反向传播。
• 在神经网络优化过程中，采用t-范数逻辑运算计算逻辑命题的真值。

实验结果

研究问题

• RQ1 逻辑背景知识能否有效补偿视觉关系检测中监督信息的不完整？
• RQ2 与仅依赖数据或仅依赖语言知识的方法相比，逻辑约束的整合如何提升零样本泛化能力？
• RQ3 几何特征与新型损失函数对LTN在视觉关系检测中性能的影响如何？
• RQ4 逻辑约束如何减少语义不一致关系（如动物骑人）的误报预测？
• RQ5 所提方法在不同类型视觉关系上的可扩展性与泛化能力如何？

主要发现

• 引入逻辑约束的模型（T_prior）在谓词检测中实现77.16%的100条召回率，优于此前最先进方法（LKD）的74.65%。
• 几何特征的引入在所有任务中均提升性能，与基线相比，谓词检测在100条召回率上提升2.45个百分点。
• 基于调和平均的新型损失函数增强了约束遵守程度，在谓词检测中相较标准t-范数损失提升2.45%。
• 逻辑约束通过编码领域特定限制，有效抑制了语义不一致预测（如动物骑人）。
• LTN框架将搜索空间从O(|P1|²|P2|)降低至O(|P1| + |P2|)，显著提升可扩展性并减少参数量。
• 消融实验表明，新特征与新损失函数对最优性能均不可或缺，且各自独立贡献性能增益。