[论文解读] Deeply Semantic Inductive Spatio-Temporal Learning

Jakob Suchan, Mehul Bhatt+1 more|arXiv (Cornell University)|Aug 9, 2016

Constraint Satisfaction and Optimization参考文献 20被引用 3

一句话总结

本文提出了一种新颖的归纳逻辑编程（ILP）框架，用于从动态视觉空间数据中学习关系型时空结构，并原生集成定性与定量空间语义。该系统从眼动追踪和视频数据中学习感知公理，支持在电影制作与认知科学应用中对对称性及注意力动态进行可解释的、声明式推理。

ABSTRACT

We present an inductive spatio-temporal learning framework rooted in inductive logic programming. With an emphasis on visuo-spatial language, logic, and cognition, the framework supports learning with relational spatio-temporal features identifiable in a range of domains involving the processing and interpretation of dynamic visuo-spatial imagery. We present a prototypical system, and an example application in the domain of computing for visual arts and computational cognitive science.

研究动机与目标

• 开发一种系统化的归纳逻辑编程框架，从动态视觉空间图像中学习基于空间、时间及时空关系的常识知识。
• 实现在逻辑编程环境中对定性与定量空间数据的无缝集成，以支持认知与感知推理。
• 支持从真实世界数据（如视频、点云、眼动追踪）中学习声明式、语义基础的时空公理。
• 在ILP学习过程中原生嵌入统一本体论，用于关系型时空特征（例如：拓扑、方向、距离、大小）。
• 通过从电影场景中学习对称性与注意力切换等感知模式，展示其在认知科学与视觉艺术中的适用性。

提出的方法

• 该框架采用形式化的时空本体 $\mathcal{O}_{sp} = \langle \mathcal{E}, \mathcal{R} \rangle$，其中 $\mathcal{E}$ 定义基本空间实体（点、向量、矩形、线段），$\mathcal{R}$ 定义关系特征（拓扑、方向、距离、大小）。
• 空间关系在ILP系统中原生编码，确保无需外部映射即可实现定性与定量推理的内置语义。
• 系统使用谓词 $\mathsf{holds\text{-}in/2}$ 表示特定时间点的时空关系，支持对动态变化（如注意力切换）的建模。
• 学习通过基于关系事实的ILP完成，这些事实源自计算机视觉输出（如边界框、面部朝向）与眼动追踪数据。
• 在约束逻辑编程框架内实现了一个原型系统，支持与外部知识源和推理模块的集成。
• 该框架支持归纳-溯因推理，允许形成假设并解释动态场景中的感知模式。

实验结果

研究问题

• RQ1 如何在不依赖外部语义映射的情况下，使学习框架原生支持复杂时空关系（如对称性、注意力转移）的语义？
• RQ2 ILP在多大程度上可扩展以从视觉数据中学习定性空间结构（超越拓扑关系）？例如方向、距离与大小。
• RQ3 能否使用基于声明式逻辑的方法，从动态眼动追踪与运动数据中学习感知公理（如电影场景中的注意力切换）？
• RQ4 如何在单一归纳学习框架内统一表示与推理混合的定性与定量空间数据？
• RQ5 此类系统在视觉感知与艺术分析中实现可解释的认知基础学习是否可行？

主要发现

• 该框架成功利用边界框与面部朝向作为输入特征，从电影场景中学习到对象级别的对称性等关系型空间结构。
• 系统从眼动追踪数据中学习视觉感知公理，将个体之间的注意力切换建模为动态时空关系。
• 定性与定量空间特征（如距离、方向、大小）的集成在ILP框架中得到原生支持，实现混合推理能力。
• 原型系统在从真实世界数据（包括电影动态场景与人类行为追踪）中学习感知模式方面展现出功能可行性。
• 该方法支持对时空动态的可解释、声明式推理，结果可解释为基于空间语义的逻辑规则。
• 据作者所知，这是首个在ILP框架中为广泛领域无关的时空关系（超越拓扑关系）提供内置语义的框架。