[论文解读] Learning the Semantics of Manipulation Action

Yezhou Yang, Yiannis Aloimonos+2 more|arXiv (Cornell University)|Dec 4, 2015

Natural Language Processing Techniques被引用 3

一句话总结

本文提出了一种基于组合 categorial grammar (CCG) 的框架，通过概率语义解析和 lambda-演算表示，从标注的视频数据中学习操纵动作的语义含义。该系统使机器人能够理解动作语义，通过命题逻辑推理隐藏后果，并超越观察进行泛化，在 MANIAC 数据集上的动作目标推理任务中实现了性能提升。

ABSTRACT

In this paper we present a formal computational framework for modeling manipulation actions. The introduced formalism leads to semantics of manipulation action and has applications to both observing and understanding human manipulation actions as well as executing them with a robotic mechanism (e.g. a humanoid robot). It is based on a Combinatory Categorial Grammar. The goal of the introduced framework is to: (1) represent manipulation actions with both syntax and semantic parts, where the semantic part employs $λ$-calculus; (2) enable a probabilistic semantic parsing schema to learn the $λ$-calculus representation of manipulation action from an annotated action corpus of videos; (3) use (1) and (2) to develop a system that visually observes manipulation actions and understands their meaning while it can reason beyond observations using propositional logic and axiom schemata. The experiments conducted on a public available large manipulation action dataset validate the theoretical framework and our implementation.

研究动机与目标

• 开发一种形式化的计算框架，用于建模兼具句法和语义成分的操纵动作。
• 通过概率语义解析，从标注的视频语料中学习动作语义。
• 通过将动作编码为形式逻辑，实现在视觉观察之外的推理，以实现目标推理。
• 通过统一的语义表示，弥合机器人中动作观察与执行之间的差距。

提出的方法

• 该框架使用组合 categorial grammar (CCG) 来表示动作，包含句法类别和语义 lambda-演算表达式。
• 它采用概率语义解析，从标注的视频数据中推断动作的 lambda-演算表示。
• 通过函数应用和类型提升组合子构建语义表示，以建模动作的参数和后果。
• 系统使用原语函数（例如 'cut'）和逻辑后果（例如 'divided'）的形式逻辑形式编码动作语义。
• 利用常识公理和命题逻辑推断隐藏的动作结果，并规划动作序列。
• 该框架可通过量词（例如 'every'）、时间顺序和额外的组合规则扩展至复杂动作。

实验结果

研究问题

• RQ1 形式语法框架能否从视频标注中学习操纵动作的语义含义？
• RQ2 所学习的语义表示如何实现对未观察到的动作后果的推理？
• RQ3 系统能否通过逻辑推理，仅从视觉观察中推断动作目标？
• RQ4 该框架在涉及量词和时间顺序的复杂动作上，其泛化能力达到何种程度？
• RQ5 该框架能否在统一的语义表示下同时支持动作理解和执行？

主要发现

• 系统成功从大规模标注视频数据集中学习了如 'Cut' 等操纵动作的 lambda-演算表示。
• 所学习的语义表示支持对隐藏后果的逻辑推理，从而提升了动作目标预测的性能。
• 该框架展示了利用命题逻辑和常识公理进行超越观察的推理能力。
• 系统在公开的 MANIAC 数据集上取得了有前景的结果，验证了理论框架的有效性。
• 在 CCG 框架内，对量化表达式（例如 'every tomato'）和时间顺序的扩展被证明是可行的。
• 该方法使机器人不仅能模仿动作，还能通过推理语义后果来模仿动作目标。