[논문 리뷰] Let's Dance: Learning From Online Dance Videos

Daniel C. Castro, Steven Hickson외 5명|arXiv (Cornell University)|2018. 01. 23.

Human Pose and Action Recognition참고 문헌 27인용 수 14

한 줄 요약

이 논문은 10개의 운동 중심 카테고리에 걸쳐 1,000개의 온라인 댄스 영상으로 구성된 'Let's Dance' 데이터셋을 소개한다. 이는 영상 분류에서 운동 표현을 연구하기 위한 것이다. 영상, 광학 흐름, 다중 인물 자세 데이터를 사용하여 최신 기법들을 평가한 결과, 3D 합성곱 신경망과 시간적 세 개의 스트림 컨볼루션 네트워크가 운동을 명시적으로 모델링함으로써 가장 높은 정확도(71.60%)를 달성했으며, 이는 프레임 기반 및 두 개의 스트림 기반 기준선보다 뛰어났다.

ABSTRACT

In recent years, deep neural network approaches have naturally extended to the video domain, in their simplest case by aggregating per-frame classifications as a baseline for action recognition. A majority of the work in this area extends from the imaging domain, leading to visual-feature heavy approaches on temporal data. To address this issue we introduce "Let's Dance", a 1000 video dataset (and growing) comprised of 10 visually overlapping dance categories that require motion for their classification. We stress the important of human motion as a key distinguisher in our work given that, as we show in this work, visual information is not sufficient to classify motion-heavy categories. We compare our datasets' performance using imaging techniques with UCF-101 and demonstrate this inherent difficulty. We present a comparison of numerous state-of-the-art techniques on our dataset using three different representations (video, optical flow and multi-person pose data) in order to analyze these approaches. We discuss the motion parameterization of each of them and their value in learning to categorize online dance videos. Lastly, we release this dataset (and its three representations) for the research community to use.

연구 동기 및 목표

• 운동 인식 분야에서 특히 시각적 특징만으로는 충분하지 않을 때, 운동을 필요로 하는 대규모 고운동성 영상 데이터셋의 부족을 해결하기 위해.
• 기존의 영상 분류 방법이 운동을 적절히 인코딩하는지, 특히 시각적 특징만으로는 충분하지 않을 때를 평가하기 위해.
• 영상 분류에서 운동 표현의 효과성을 비교하기 위해 영상, 광학 흐름, 다중 인물 자세 데이터를 사용한 다양한 운동 표현 방식을 평가하기 위해.
• 딥 러닝에서 운동 매개변수화를 체계적으로 연구할 수 있도록 기준 데이터셋과 세 가지 데이터 표현 방식(영상, 광학 흐름, 자세)을 제공하기 위해.
• 3D CNN 및 시간적 세 개의 스트림 네트워크와 같은 운동 인식 모델이 운동 의존 작업에서 프레임 기반 및 두 개의 스트림 접근 방식보다 뚜렷이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 운동이 뚜렷하고 시각적으로 유사하지만 운동 특성이 다른 10개의 카테고리에 걸쳐 1,000개의 영상으로 구성된 온라인 댄스 영상 데이터셋을 구축하여, 운동을 핵심 분류 기준으로 강조하였다.
• 다양한 딥 러닝 아키텍처를 평가: 3D 합성곱 신경망, 두 개의 스트림 후기 융합(공간 + 광학 흐름), 그리고 RGB, 광학 흐름, 자세 모달리티에 대해 각각의 2D 합성곱 신경망을 스택한 방식.
• 표준 영상 입력을 보완하기 위해 광학 흐름과 다중 인물 자세 추정을 운동 표현으로 사용하여, 신경망 내 운동 인코딩 방식을 분석할 수 있도록 하였다.
• 계산 비용을 줄이기 위해 스택된 2D 합성곱 신경망을 구현하여 여러 운동 스트림을 통합함으로써, 3D CNN보다 낮은 복잡성으로도 높은 성능을 달성하였다.
• 10초 클립 길이에서 표준 평가 지표를 사용하여 다양한 입력 모달리티와 네트워크 아키텍처 간 성능을 비교하였다.
• 운동 관련성을 강조하고 모델 일반화를 향상시키기 위해, 비운동 영역을 흐리게 하는 등의 데이터 증강 및 전처리 기법을 적용하였다.

실험 결과

연구 질문

• RQ1 시각적 외관이 충분하지 않을 경우, 단일 프레임 또는 두 개의 스트림 특징에 의존하는 전통적인 영상 분류 방법이 운동 중심 행동을 정확하게 분류할 수 있는가?
• RQ2 광학 흐름과 다중 인물 자세와 같은 다양한 운동 표현 방식이 영상 분류 모델의 성능에 어떻게 기여하는가?
• RQ3 3D 합성곱 신경망과 시간적 세 개의 스트림 아키텍처가 고운동성 영상 작업에서, 각각의 프레임 기반 및 두 개의 스트림 기준선보다 얼마나 뛰어나게 성능을 냈는가?
• RQ4 운동 민감성 영상 분류에서, 고정확도 3D CNN과 더 효율적인 스택된 2D 다중 스트림 모델 간의 계산적 트레이드오프는 어떠한가?
• RQ5 딥 러닝 모델에서 운동 매개변수화를 의도적으로 향상시키면, 정적 외관을 넘어서 일반적인 영상 이해 능력을 향상시킬 수 있는가?

주요 결과

• 3D 합성곱 신경망은 'Let’s Dance' 데이터셋에서 71.60%의 가장 높은 정확도를 기록하여, 명시적인 시간적 모델링이 운동 의존 작업에서 성능 향상에 크게 기여한다는 것을 입증하였다.
• 시간적 세 개의 스트림 컨볼루션 네트워크는 RGB, 광학 흐름, 자세 데이터를 스택된 2D 아키텍처에 통합하여 69.20%의 정확도를 달성했으며, 이는 3D 합성곱이 필요 없이도 다중 모달 운동 입력이 분류 성능을 향상시킬 수 있음을 보여주었다.
• 오직 광학 흐름만을 사용한 프레임 기반 접근 방식은 57.14%의 정확도를 기록했으며, 이는 운동 자체가 공간적 맥락 없이도 유의미한 신호를 제공하지만, 전체 다중 모달 모델보다는 낮은 성능을 보임을 시사한다.
• 두 개의 스트림 후기 융합 네트워크(공간 + 광학 흐름)는 단일 프레임 기준선보다 성능이 뛰어났지만, 3D 및 세 개의 스트림 시간적 모델보다는 열등했으며, 이는 시간적 모델링의 가치를 확인시켰다.
• 더 높은 계산 비용이 따르지만, 3D 합성곱 신경망은 스택된 2D 모델보다 장거리 운동 동적 특성을 더 잘 포착하는 것으로 나타났다. 다만 후자는 뛰어난 효율성 트레이드오프를 제공하였다.
• 이 연구는 표준 CNN가 종종 운동을 의도적으로 인코딩하지 못함을 확인하였으며, 'Let’s Dance'와 같은 데이터셋이 운동 인식 영상 이해 평가에 필수적이라는 것을 입증하였다.