[논문 리뷰] Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities

Fadime Şener, Dibyadip Chatterjee외 5명|arXiv (Cornell University)|2022. 03. 28.

Human Pose and Action Recognition인용 수 4

한 줄 요약

Assembly101는 8개의 정적 시점과 4개의 1인칭 시점에서 촬영한 4321개의 시퀀스를 포함하는 대규모 다중 시점 영상 데이터셋으로, 101종의 분해 가능한 장난감 차량을 사람들이 조립하고 분해하는 과정을 담고 있다. 이 데이터셋은 100만 개 이상의 세분화된 동작 세그먼트, 1,800만 개의 3차원 손 자세를 포함하며, 새로운 실수 탐지 작업을 도입하여 행동 인식, 예측, 시간적 분할, 그리고 장난감, 시점, 숙련도 수준 간 일반화에 대한 벤치마킹을 가능하게 한다. 다중 시점 융합을 통해 성능 향상이 두드러진다.

ABSTRACT

Assembly101 is a new procedural activity dataset featuring 4321 videos of people assembling and disassembling 101 "take-apart" toy vehicles. Participants work without fixed instructions, and the sequences feature rich and natural variations in action ordering, mistakes, and corrections. Assembly101 is the first multi-view action dataset, with simultaneous static (8) and egocentric (4) recordings. Sequences are annotated with more than 100K coarse and 1M fine-grained action segments, and 18M 3D hand poses. We benchmark on three action understanding tasks: recognition, anticipation and temporal segmentation. Additionally, we propose a novel task of detecting mistakes. The unique recording format and rich set of annotations allow us to investigate generalization to new toys, cross-view transfer, long-tailed distributions, and pose vs. appearance. We envision that Assembly101 will serve as a new challenge to investigate various activity understanding problems.

연구 동기 및 목표

• 주방 외부 도메인에서 자연스럽고 목표 지향적인 절차적 활동을 다루는 대규모 다중 시점 영상 데이터셋을 구축하기 위해.
• 실생활 조립 및 분해 작업 중 발생하는 행동 순서의 다양성, 실수, 수정 행동을 풍부하게 캡처하기 위해.
• 행동 인식, 예측, 시간적 분할, 그리고 새로운 실수 탐지 작업에 대한 벤치마킹을 가능하게 하기 위해.
• 다양한 시점 간 일반화, 긴 꼬리 분포에 대한 강건성, 손 자세 기반 및 외관 기반 이해에 대한 연구를 지원하기 위해.
• 3차원 손-물체 상호작용 이해를 향상시키기 위해 동기화된 정적 및 1인칭 시점 영상을 제공하기 위해.

제안 방법

• 참가자들이 101종의 장난감 차량을 조립하고 분해하는 과정을 8대의 정적 카메라와 4대의 1인칭 카메라를 사용해 동기화된 다중 시점 영상으로 촬영하였다.
• 각 시퀀스는 1,380개의 세분화된 동작 클래스와 202개의 개괄적 동작 클래스로 레이블링되었으며, 100만 개 이상의 세분화된 동작 세그먼트와 1,800만 개의 3차원 손 자세가 포함되어 있다.
• 행동 인식 및 예측을 위해 MS-TCN++ 및 C2F-TCN 등의 모델을 프레임 단위 교차 엔트로피 손실(클래스 가중치 적용)과 평균 제곱 오차 손실을 사용해 훈련하였다.
• 실수 탐지를 위해, 60초의 컨텍스트 윈도우와 다중 척도 시간 집합을 활용한 수정된 TempAgg 모델을 사용하였다.
• 다중 시점 융합은 고정 시점과 1인칭 시점의 점수를 평균 풀링하여 행동 인식 및 예측 성능 향상을 위해 구현되었다.
• 훈련 파이프라인은 TSM 특징을 사용하고, Adam 최적화, 학습률 감소, 드롭아웃을 적용하여 클래스 불균형에 대한 강건성을 확보하였다.

실험 결과

연구 질문

• RQ1 동기화된 정적 시점과 1인칭 시점에서의 다중 시점 감시가 행동 인식 및 예측 성능에 어떤 영향을 미치는가?
• RQ2 모델이 새로운 장난감 카테고리로 일반화할 수 있는 정도는 어떠한가, 특히 동작 클래스의 긴 꼬리 분포 상황에서?
• RQ3 자연스럽고 자유로운 절차적 활동에서 실수와 수정 행동을 효과적으로 탐지할 수 있는가?
• RQ4 절차적 과제에서 손-물체 상호작용 이해에 있어 손 자세 기반 특징과 외관 기반 특징는 어떻게 비교되는가?
• RQ5 숙련도 수준과 행동 순서의 변동성이 절차적 활동 이해에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 다중 시점 융합은 세분화된 행동에 대해 상위 5개 정확도를 71.6% (융합)로 향상시켜 전체 성능 58.5% 대비 뚜렷한 향상을 보였다.
• 최고의 성능을 보인 모델은 고정 시점에서 88.5%의 상위 5개 정확도, 1인칭 시점에서 82.7%의 정확도를 기록했으며, 융합을 통해 성능이 88.5%로 향상되었다.
• 60초 컨텍스트 윈도우와 다중 척도 시간 집합을 활용한 TempAgg를 사용한 실수 탐지 모델은 오차 및 수정 클래스에 대해 개선된 재현율을 달성하였다.
• ‘운반하기’(transporter) 카테고리가 22명의 참가자로 높은 기록 밀도를 보여 91.2%의 최고 인식 정확도(상위 5개)를 기록하였다.
• ‘들기’(pick up)와 ‘내리기’(put down)와 같은 동사는 높은 인식 재현율을 보였고, ‘도전하다’(attempt to) 동사는 가장 낮은 재현율을 보여 의도 모델링의 과제를 드러냈다.
• 개괄적 행동 인식에서는 ‘시연하기’(demonstrate), ‘결합하기’(attach), ‘분리하기’(detach) 동사가 가장 높은 재현율을 보였고, ‘배치하기’(position), ‘제거하기’(remove), ‘나사를 조이기 시도하기’(attempt to screw) 동사가 가장 어려운 동사로 나타났다.