[논문 리뷰] FineGym: A Hierarchical Video Dataset for Fine-grained Action Understanding

Dian Shao, Yue Zhao외 2명|arXiv (Cornell University)|2020. 04. 14.

Human Pose and Action Recognition참고 문헌 51인용 수 31

한 줄 요약

FineGym은 대규모 체조 비디오 데이터셋을 세 수준의 의미 계층(event, set, element)과 두 수준의 시간적 주석(action, sub-action)을 통해 도입하여, 미세한 행동 이해와 관련 방법의 경험적 연구를 가능하게 한다.

ABSTRACT

On public benchmarks, current action recognition techniques have achieved great success. However, when used in real-world applications, e.g. sport analysis, which requires the capability of parsing an activity into phases and differentiating between subtly different actions, their performances remain far from being satisfactory. To take action recognition to a new level, we develop FineGym, a new dataset built on top of gymnastic videos. Compared to existing action recognition datasets, FineGym is distinguished in richness, quality, and diversity. In particular, it provides temporal annotations at both action and sub-action levels with a three-level semantic hierarchy. For example, a "balance beam" event will be annotated as a sequence of elementary sub-actions derived from five sets: "leap-jump-hop", "beam-turns", "flight-salto", "flight-handspring", and "dismount", where the sub-action in each set will be further annotated with finely defined class labels. This new level of granularity presents significant challenges for action recognition, e.g. how to parse the temporal structures from a coherent action, and how to distinguish between subtly different action classes. We systematically investigate representative methods on this dataset and obtain a number of interesting findings. We hope this dataset could advance research towards action understanding.

연구 동기 및 목표

• 고품질의 미세한 체조 비디오 데이터셋을 다층 의미 라벨(event, set, element)로 생성한다.
• 두 수준의 시간적 주석을 제공하여 시간적으로 미세한 이해를 가능하게 한다.
• 전문가가 구축한 범주와 엄격한 주석 품질 관리로 데이터 품질을 보장한다.
• 대표적인 행동 인식 방법을 벤치마킹하여 미세한 행동 이해에서의 도전과 향후 연구 방향을 제시한다.

제안 방법

• 데이터 품질과 관련성을 보장하기 위해 공식 체조 대회에서 고해상도 비디오를 수집한다.
• 세 수준의 의미 계층(event, set, element)으로 행동을 주석하고, 행동과 서브 액션을 시간적으로 식별한다.
• 주어진 세트 내에서 요소 레이블을 도출하기 위해 의사 결정 트리 기반 추론을 사용한다.
• 주석가 교육, 예비 시험, 교차 검증을 포함한 다단계 주석 품질 관리 체계를 구현한다.
• RGB, Flow, 2Stream, 뼈대(skeleton) 기반 접근법을 사용하여 거친-세부 구분에서 대표적 행동 인식 모델을 평가한다.
• SSN 프레임워크를 이용한 시간적 행동 로컬라이제이션을 시연하여 이벤트와 서브액션 로컬라이제이션을 연구한다.

실험 결과

연구 질문

• RQ1 현재의 행동 인식 모델은 FineGym의 미세한(요소 수준) 행동에서 어느 정도 성능을 보이는가?
• RQ2 시간적 모델링과 프레임 샘플링이 미세한 행동 이해에 미치는 영향은 무엇인가?
• RQ3 거친 수준 데이터셋에서의 사전 학습이 체조의 미세한 행동에 도움이 되는가?
• RQ4 미세하고 빠른 동작에서 appearance 기반 피처와 motion 기반 피처가 제시하는 도전은 무엇인가?
• RQ5 FineGym에서 서브 액션에 대한 시간적 행동 로컬라이제이션은 거친 행동에 비해 얼마나 실현 가능한가?

주요 결과

• 희소한 프레임 샘플링은 요소 수준 인식에 충분하지 않다; 견고한 성능을 얻으려면 많은 프레임이 필요하다.
• 모션 정보가 상당히 중요한 역할을 하며, 세부적 행동 이해에는 시간적 모델링이 결정적이다.
• Temporal dynamics 모델링(TRN/TSM)은 정적 프레임 기반 대비 상당한 이득을 주며, 학습/테스트 프레임 수의 불일치는 성능을 해친다.
• 대규모 거친 데이터셋에서의 사전 학습은 시간 패턴 차이로 인해 항상 유익하지 않다.
• 스켈레톤 기반 방법(ST-GCN)은 다양한 동작에서 포즈 추정이 어려워 체조 데이터에서 성능이 어려움을 겪는다.
• FineGym은 고품질의 액션 중심 데이터와 풍부한 계층 구조를 갖춘 도전적인 벤치마크를 제시하여 미세한 행동 이해 분야의 향후 연구를 이끈다.