[논문 리뷰] ECAT: Event Capture Annotation Tool

Tuan Do, Nikhil Krishnaswamy외 1명|arXiv (Cornell University)|2016. 10. 05.

Scientific Computing and Data Management참고 문헌 8인용 수 8

한 줄 요약

ECAT는 Microsoft Kinect 영상에서 3D 객체 및 신체-기구 운동을 캡처하여 세분화된 이벤트-참여자 관계 표기와 의미표현 마크업을 가능하게 하는 오픈소스이자 사용자 친화적인 표기 도구입니다. 이 도구는 출력물을 VoxML로 매핑하여 3D 시뮬레이션을 구현하며, 운동과 공간 의미학을 연구하기 위한 다모odal, 의미적으로 풍부한 이벤트 데이터 코퍼스를 생성합니다.

ABSTRACT

This paper introduces the Event Capture Annotation Tool (ECAT), a user-friendly, open-source interface tool for annotating events and their participants in video, capable of extracting the 3D positions and orientations of objects in video captured by Microsoft's Kinect(R) hardware. The modeling language VoxML (Pustejovsky and Krishnaswamy, 2016) underlies ECAT's object, program, and attribute representations, although ECAT uses its own spec for explicit labeling of motion instances. The demonstration will show the tool's workflow and the options available for capturing event-participant relations and browsing visual data. Mapping ECAT's output to VoxML will also be addressed.

연구 동기 및 목표

• 비디오에서 객체 및 인간 신체의 3D 운동을 캡처하여 의미론적 이벤트 표기를 가능하게 하는 도구를 개발하는 것.
• Kinect의 깊이 감지 및 스켈레톤 추적 기능을 활용하여 2D 영상 추적과 3D 운동 모델링 간의 다리를 놓는 것.
• 자연어 및 시각 연구에 활용할 수 있는 의미관계를 가진 표기된 이벤트 코퍼스의 구축을 지원하는 것.
• 표기된 이벤트를 VoxML로 매핑하여 정형화된 3D 시나리오 재구성 및 시뮬레이션을 가능하게 하는 것.
• 서브이벤트 및 논의 연결어를 포함한 서사적 순서를 포함한 복잡한 이벤트 구조를 지원하는 것.

제안 방법

• ECAT는 고해상도로 RGB, 깊이, 신체추적 데이터를 캡처하기 위해 Kinect Sensor v2를 사용하며, 큰 파일 크기를 관리하기 위해 고유한 압축 기법을 적용합니다.
• Kinect SDK를 통한 인간 신체-기구의 자동 감지와 RGB 스트림에 대한 경계 다각형을 이용한 수동 표기 방식을 통해 기타 객체를 표기합니다.
• 깊이 필드 데이터와 반복 최소 거리(Iterative Closest Point, ICP) 알고리즘을 활용하여 3D 공간에서의 객체 위치 및 방향을 시간에 따라 추정하는 반자동 3D 추적을 수행합니다.
• 사용자는 시간 기반으로 조작 가능한 인터페이스를 통해 자연어 기반 설명, 참가자 정의, 공간 관계(예: On, In, Attach To)를 지정하여 이벤트를 표기합니다.
• 초/서브이벤트 간 링크를 통해 이벤트의 서브구조화를 지원하며, 의미 모델링을 위해 VoxML 이벤트 유형과 연결할 수 있습니다.
• ECAT의 출력물은 VoxML로 매핑되어, 파arametric 운동과 공간 관계를 포함한 완전한 3D 시뮬레이션을 통해 표기된 이벤트를 재구성할 수 있습니다.

실험 결과

연구 질문

• RQ1 Kinect에서 유도된 3D 운동 데이터는 의미론적 이벤트 모델링을 위해 어떻게 효과적으로 캡처하고 표기할 수 있는가?
• RQ2 비디오에서 이벤트-참여자 관계의 정밀하고 확장 가능하며 의미적으로 풍부한 레이블링을 지원하는 표기 인터페이스는 무엇인가?
• RQ3 표기된 영상 데이터는 어떻게 체계적으로 VoxML과 같은 형식적 의미 표현 언어로 매핑되어 시뮬레이션에 활용될 수 있는가?
• RQ4 다모달 코퍼스에서 이벤트 의미학을 모델링하기 위해 필요한 운동 및 공간 관계의 세부 수준은 어느 정도인가?
• RQ5 중첩되거나 병렬적으로 발생하는 이벤트를 포함한 서사 수준의 영상 순서는 어떻게 의미표현 마크업을 통해 표기하고 연결할 수 있는가?

주요 결과

• ECAT는 Kinect 영상에서 객체 및 인간 신체-기구의 3D 위치와 방향을 성공적으로 캡처하여 고정밀도 운동 표기 가능성을 확보합니다.
• 깊이 데이터와 ICP 기반 방법을 활용한 수동 및 반자동 객체 추적을 지원하여 3D 공간 내 추적 정확도를 향상시킵니다.
• 비연속 세그먼트 및 계층적 서브이벤트를 포함한 복잡한 이벤트 구조의 표기 기능을 제공하며, 명시적 참가자 참조를 지원합니다.
• 공간 관계(예: On, In, Attach To)를 포함한 의미적으로 풍부한 이벤트 표기와 함께 VoxML 이벤트 유형과 연결되어 정형화된 시뮬레이션을 가능하게 합니다.
• ECAT에서 VoxML로의 매핑을 통해 표기된 이벤트를 3D 시뮬레이션 환경에서 완전히 재구성할 수 있으며, 영상과 합성 시나리오 간 연결된 데이터셋 구축이 가능합니다.
• 도구는 FrameNet 및 이벤트 온톨로지와 같은 어휘 자원과의 향후 통합을 지원하도록 확장 가능하며, 논의 연결어를 포함한 장기 서사 영상 표기 기능으로도 확장 중입니다.