[论文解读] ECAT: Event Capture Annotation Tool

Tuan Do, Nikhil Krishnaswamy+1 more|arXiv (Cornell University)|Oct 5, 2016

Scientific Computing and Data Management参考文献 8被引用 8

一句话总结

ECAT 是一款开源、用户友好的标注工具，可从 Microsoft Kinect 视频中捕获 3D 物体与人体-刚性结构的运动，支持通过语义标记对事件-参与者关系进行详细标注。其输出可映射至 VoxML，用于 3D 模拟，从而构建多模态、语义丰富的事件数据语料，用于研究运动与空间语义。

ABSTRACT

This paper introduces the Event Capture Annotation Tool (ECAT), a user-friendly, open-source interface tool for annotating events and their participants in video, capable of extracting the 3D positions and orientations of objects in video captured by Microsoft's Kinect(R) hardware. The modeling language VoxML (Pustejovsky and Krishnaswamy, 2016) underlies ECAT's object, program, and attribute representations, although ECAT uses its own spec for explicit labeling of motion instances. The demonstration will show the tool's workflow and the options available for capturing event-participant relations and browsing visual data. Mapping ECAT's output to VoxML will also be addressed.

研究动机与目标

• 开发一种工具，用于从视频中捕获物体和人体的 3D 运动，以支持语义事件标注。
• 利用 Kinect 的深度感知与骨骼追踪功能，弥合 2D 视频跟踪与 3D 运动建模之间的鸿沟。
• 支持创建带有语义关系的标注事件语料，用于自然语言与视觉研究。
• 实现标注事件到 VoxML 的映射，以支持程序化 3D 场景重建与模拟。
• 支持复杂事件结构，包括子事件与带有话语连接词的叙事序列。

提出的方法

• ECAT 使用 Kinect Sensor v2 捕获高分辨率的 RGB、深度与人体追踪数据，并通过自定义压缩技术管理大文件尺寸。
• 支持通过 Kinect SDK 自动检测人体-刚性结构，同时允许用户在 RGB 流上使用边界多边形手动标注其他物体。
• 利用深度场数据与迭代最近点（ICP）算法，实现半自动 3D 跟踪，以随时间估算物体的位置与朝向。
• 用户通过时间可追溯的界面标注事件，提供自然语言描述，定义参与者，并使用时间可追溯界面指定空间关系（例如：On、In、Attach To）。
• 该工具通过超/子事件链接支持事件的分层结构化，并允许链接至 VoxML 事件类型以实现语义建模。
• ECAT 输出映射至 VoxML，支持带参数运动与空间关系的完整 3D 模拟，实现对标注事件的全息重建。

实验结果

研究问题

• RQ1 如何有效捕获并标注来自 Kinect 的 3D 运动数据，以支持语义事件建模？
• RQ2 何种标注界面能够支持在视频中对事件-参与者关系进行精确、可扩展且语义丰富的标注？
• RQ3 如何系统性地将标注的视频数据映射至形式化的语义表示语言（如 VoxML）以支持模拟？
• RQ4 在多模态语料中建模事件语义时，运动与空间关系需要达到何种细节程度？
• RQ5 如何使用语义标记对具有重叠或并行事件的叙事级视频序列进行标注与关联？

主要发现

• ECAT 成功从 Kinect 视频中捕获物体与人体-刚性结构的 3D 位置与朝向，支持高保真度的运动标注。
• 该工具通过使用深度数据与基于 ICP 的方法，支持手动与半自动的物体追踪，提升了 3D 空间中的追踪精度。
• ECAT 支持对复杂事件结构的标注，包括非连续片段与分层子事件，并明确标注参与者。
• 事件标注通过空间关系（如 On、In、Attach To）实现语义增强，并与 VoxML 事件类型链接，以支持程序化模拟。
• ECAT 到 VoxML 的映射支持在 3D 模拟环境中完整重建标注事件，实现视频与合成场景的关联数据集构建。
• 该工具具备可扩展性，可支持未来与词汇资源（如 FrameNet）及事件本体的集成，并正被扩展以支持带有话语连接词的长篇叙事视频标注。