[논문 리뷰] CLAD: A Complex and Long Activities Dataset with Rich Crowdsourced Annotations

Jawad Tayyub, Majd Hawasly외 1명|arXiv (Cornell University)|2017. 01. 01.

Human Pose and Action Recognition참고 문헌 13인용 수 4

한 줄 요약

이 논문은 복잡하고 장시간 지속되는 인간 활동을 모바일 로봇의 시점에서 촬영한 Kinect 2 센서를 사용해 기록한 새로운 RGB-D 비디오 데이터셋인 CLAD를 소개한다. 이 데이터셋은 아마존 Mechanical Turk를 통해 수집된 풍부한 커뮤니티 기반 주석을 포함하고 있으며, 구조화된 작업 설계와 품질 관리 체계를 통해 시간적으로 연장된 실제 환경에서의 자연어 기반 활동 레이블링의 정확성을 보장한다. 이는 로봇공학 및 컴퓨터 비전 분야에서 장기적 활동 인식에 대한 벤치마크를 가능하게 한다.

ABSTRACT

An activity dataset is presented here which exhibits real-life and diverse scenarios of complex, temporally-extended human activities and actions. The dataset consists of a set of videos of actors performing everyday activities in a natural and unscripted manner. The dataset was recorded using a static Kinect 2 sensor which is commonly used on many robotic platforms. The dataset comprises of RGB-D images, point cloud data, automatically generated skeleton tracks in addition to crowdsourced annotations. We believe that this dataset is particularly suitable as a testbed for activity recognition research but it can also be applicable for other common tasks in robotics/computer vision research such as object detection and human skeleton tracking.

연구 동기 및 목표

• 실제 환경에서 로봇 센서가 관측하는 맥락에서 장기적이고 복잡한 인간 활동을 위한 표준화된 데이터셋의 부족을 해결한다.
• 정적 Kinect 2 센서를 통해 기록된 벤치마크 데이터셋을 제공하여 일상 환경에서의 모바일 로봇 인식을 시뮬레이션한다.
• RGB-D 비디오와 커뮤니티 기반 주석을 활용해 장기적 활동 인식, 인간 뼈대 추적, 물체 검출 분야의 연구를 가능하게 한다.
• 장시간 비디오 시퀀스에 대해 고품질의 자연어 주석을 수집하기 위한 확장 가능하고 비용 효율적인 커뮤니티 기반 주석 수집 파이프라인을 개발한다.
• 시간적으로 연장되고, 변수적이며, 겹치는 활동을 주석 지정하는 데 도전하는 문제를 구조화된 주석 인터페이스와 품질 관리 메커니즘을 통해 해결한다.

제안 방법

• 통제된 실내 환경이지만 자연스러운 분위기에서 일상 생활 활동(예: 식사, 공부, 요리 등)의 100개 이상의 비디오 시퀀스를 Kinect 2 센서로 기록하였다.
• 각 비디오에 대해 RGB-D 이미지, 포인트 클라우드 데이터, 그리고 자동으로 생성된 뼈대 트랙을 Kinect 2 센서로부터 수집하였다.
• 활동 주석을 위한 커스터마이징된 커뮤니티 기반 주석 인터페이스를 아마존 Mechanical Turk에 구현하였으며, 주요 구성 요소로는 비디오 재생기, 주석 테이블, 타임라인 시각화 도구를 포함하였다.
• 자격 요건(최소 20개의 승인된 작업, 최소 90% 승인률), 시간 제한(1000프레임당 15분), 보상 구조(정확도 및 겹치는 활동 탐지에 대한 보너스 포함)를 통해 품질 관리를 실시하였다.
• 각 작업에 대해 최소 주석 기준을 설정하고(비디오 길이에 따라 동적으로 조정), 부족한 주석 제출 시 자격 박탈 조치를 통해 완전성 확보를 강제하였다.
• 비디오 프레임 수에 비례해 보상과 시간 제한을 선형 스케일링하여, 길이가 다른 작업 간 일관성과 동기 유도를 유지하였다.

실험 결과

연구 질문

• RQ1 장기적이고 복잡한 활동 데이터셋을 대규모로 효과적으로 커뮤니티 기반 주석을 통해 수집하면서도 고품질과 일관성을 유지할 수 있는가?
• RQ2 자연어 기반의 커뮤니티 기반 주석이 실제 환경에서 시간적으로 연장되고, 복잡하며, 겹치는 인간 활동을 얼마나 정확하게 표현할 수 있는가?
• RQ3 활동 인식 연구에서 장시간 비디오 시퀀스의 주석 품질과 효율성을 극대화하기 위해 커뮤니티 기반 주석 파이프라인의 설계 및 파rameter 선택에서 어떤 요소가 가장 중요한가?
• RQ4 타임라인 시각화 도구의 포함 여부가 커뮤니티 기반 주석에서 겹치는 또는 동시 발생하는 활동의 탐지에 어떤 영향을 미치는가?
• RQ5 Kinect 2 센서를 사용해 로봇의 시점에서 기록된 데이터셋이 서비스 로봇 분야에서 장기적 활동 인식에 유효한 벤치마크로 기능할 수 있는가?

주요 결과

• CLAD 데이터셋은 RGB-D 데이터, 포인트 클라우드, 뼈대 트랙을 포함한 100개 이상의 복잡하고 장시간 지속되는 일상 활동 비디오 시퀀스로 구성되어 있다.
• 구조화된 인터페이스를 활용한 아마존 Mechanical Turk를 통한 커뮤니티 기반 주석 수집으로, 주석 품질과 확장성의 균형을 달성하였다.
• 정확도 및 겹치는 활동 탐지에 대한 보너스를 포함한 보상 모델이 고품질 주석 작성에 성공적으로 유도하였으며, 1000프레임당 최대 $3의 보상이 지급되었다.
• 자격 요건과 부족한 주석 제출에 대한 자격 박탈 조치를 통해 모든 작업이 최소 주석 기준을 충족시켜 데이터셋의 완전성을 향상시켰다.
• 타임라인 시각화 도구가 포함되었음에도 불구하고 주석 품질 향상은 유의미하게 관찰되지 않아, 현재 형태에서는 한계가 있는 것으로 나타났다.
• 이 데이터셋은 공개적으로 제공되며, https://doi.org/10.5518/249 에서 접근 가능하며, 로봇공학 및 컴퓨터 비전 분야에서 장기적 활동 인식, 뼈대 추적, 물체 검출에 대한 벤치마크로 활용된다.