[论文解读] Deep Semantic Abstractions of Everyday Human Activities: On Commonsense Representations of Human Interactions

Jakob Suchan, Mehul Bhatt|arXiv (Cornell University)|Oct 10, 2017

Semantic Web and Ontologies被引用 3

一句话总结

本文提出了一种深度语义本体，用于利用基于RGB-D传感器数据的常识性空间与时间推理，建模日常活动中的人机交互。它通过约束逻辑编程形式化时空关系，实现在认知机器人场景中对运动与交互模式的声明式、可解释性推理。

ABSTRACT

We propose a deep semantic characterization of space and motion categorically from the viewpoint of grounding embodied human-object interactions. Our key focus is on an ontological model that would be adept to formalisation from the viewpoint of commonsense knowledge representation, relational learning, and qualitative reasoning about space and motion in cognitive robotics settings. We demonstrate key aspects of the space & motion ontology and its formalization as a representational framework in the backdrop of select examples from a dataset of everyday activities. Furthermore, focussing on human-object interaction data obtained from RGBD sensors, we also illustrate how declarative (spatio-temporal) reasoning in the (constraint) logic programming family may be performed with the developed deep semantic abstractions.

研究动机与目标

• 开发一种本体框架，用于表示基于空间与运动常识知识的具身化人机交互。
• 形式化定性时空关系（例如，接触、期间、部分-整体）以用于认知机器人和可解释人工智能。
• 利用逻辑编程范式（如CLP(QS)和ASPMT(QS)）实现对动态视觉-空间场景的声明式推理。
• 弥合动作的高层概念表示与RGB-D传感器的低层感官-运动数据之间的鸿沟。
• 支持基于认知语言学与空间认知的关联学习、溯因推理与模拟。

提出的方法

• 设计以人机交互的常识性表征为中心的空间与运动本体模型。
• 利用RGB-D传感器数据提取随时间变化的3D关节点位置与物体位置，形成时空轨迹。
• 将交互行为（例如，拿起、传递、倒出）编码为基于观测动态的定性时空关系序列。
• 应用约束逻辑编程（CLP(QS)）对时空历史与运动模式执行声明式推理。
• 将形式化模型与基于规则的推理相结合，实现非单调推理、溯因解释与关联学习。
• 在日常厨房活动数据集上验证该框架，使用Prolog实现对交互序列的交互式查询回答。

实验结果

研究问题

• RQ1 如何正式建模常识性空间与时间关系，以支持对日常活动中人机交互的推理？
• RQ2 如何将空间与运动的深层语义抽象基于低层RGB-D传感器数据，以支持认知机器人？
• RQ3 如何利用约束逻辑编程实现对人机交互中时空动态的声明式、可解释性推理？
• RQ4 哪些关键的定性关系与运动模式可区分安全与不安全交互（例如，将杯子越过笔记本电脑传递）？
• RQ5 如何扩展本体以支持更复杂环境中的人内移动与社交互动？

主要发现

• 所提出的本体以正式、机器可处理的方式成功建模了人机交互，使用诸如“接触”、“期间”和“部分-整体”等定性时空关系。
• 该框架支持对交互序列的交互式查询推理，可检测具有空间上下文的具身化动作，如“传递一个杯子”。
• 系统基于空间与时间约束，能够区分安全与不安全行为——例如，将空杯越过笔记本电脑与将满杯越过笔记本电脑的差异。
• 约束逻辑编程（CLP(QS)）有效支持定量与定性混合推理，实现一致性检查与溯因解释。
• 该模型支持基于认知语言学的关联学习与模拟，促进从自然语言与传感器数据中获取知识。
• 该方法可扩展至真实世界机器人平台，计划集成至ROS以及openEASE与ExpCog认知机器人框架中。