[논문 리뷰] Learning Discriminative Motion Features Through Detection

Gedas Bertasius, Christoph Feichtenhofer외 3명|arXiv (Cornell University)|2018. 12. 11.

Human Pose and Action Recognition참고 문헌 49인용 수 18

한 줄 요약

이 논문은 Faster R-CNN 검출기를 사용하여 시간적으로 분리된 프레임에서 추출한 특징을 활용해 한 프레임 내에서 인간 자세를 예측하도록 훈련시켜 학습된 분류적 운동 특징(DiMoFs)을 제안한다. 시공간 변형 컨볼루션을 활용함으로써 모델은 자세 추정, 관절 추적, 그리고 행동 인식과 같은 후속 작업을 향상시키는 운동 오프셋을 학습한다. 3D 백본과 결합했을 때, 조그만 규모의 사전 훈련에서도 최신 기술 성능을 달성한다.

ABSTRACT

Despite huge success in the image domain, modern detection models such as Faster R-CNN have not been used nearly as much for video analysis. This is arguably due to the fact that detection models are designed to operate on single frames and as a result do not have a mechanism for learning motion representations directly from video. We propose a learning procedure that allows detection models such as Faster R-CNN to learn motion features directly from the RGB video data while being optimized with respect to a pose estimation task. Given a pair of video frames---Frame A and Frame B---we force our model to predict human pose in Frame A using the features from Frame B. We do so by leveraging deformable convolutions across space and time. Our network learns to spatially sample features from Frame B in order to maximize pose detection accuracy in Frame A. This naturally encourages our network to learn motion offsets encoding the spatial correspondences between the two frames. We refer to these motion offsets as DiMoFs (Discriminative Motion Features). In our experiments we show that our training scheme helps learn effective motion cues, which can be used to estimate and localize salient human motion. Furthermore, we demonstrate that as a byproduct, our model also learns features that lead to improved pose detection in still-images, and better keypoint tracking. Finally, we show how to leverage our learned model for the tasks of spatiotemporal action localization and fine-grained action recognition.

연구 동기 및 목표

• 현대 검출 모델인 Faster R-CNN은 단일 프레임 분석을 위해 설계되어 있으며, 비디오에서 운동 신호를 내재적으로 학습하지 못하는 점을 해결하기 위해.
• 광학 흐름이나 이중 스트림 아키텍처에 의존하지 않고, RGB 비디오 데이터에서 직접 효과적인 운동 표현을 학습할 수 있도록 검출 모델을 가능하게 하기 위해.
• 새로운 훈련 목표를 통해 운동 인식 특징을 학습함으로써 자세 추정, 관절 추적, 그리고 후속 비디오 이해 작업의 성능을 향상시키기 위해.
• 이 방법을 통해 학습된 운동 특징이 다양한 비디오 이해 작업 간에 분류적이고 일반화 가능한지 입증하기 위해.

제안 방법

• 시간적으로 떨어진 프레임 B에서 추출한 특징을 사용해 프레임 A에서 인간 자세를 예측하도록 Faster R-CNN 검출기를 훈련함으로써, 네트워크가 운동 대응 관계를 학습하도록 유도한다.
• 공간적 및 시간적 차원에서 동시에 작동하는 변형 컨볼루션을 활용하여 프레임 B의 특징을 동적으로 샘플링함으로써 프레임 A에서의 자세 검출 성능을 향상시킨다.
• 자세 추정 손실을 최적화하여 모델을 엔드 투 엔드로 학습시키며, 네트워크는 검출 정확도를 극대화하는 데 기여하는 운동 오프셋(DiMoFs)을 학습한다.
• 결과로 도출된 운동 오프셋을 사전 운동 지역 식별, 행동 인식, 시공간 검출과 같은 후속 작업을 위한 분류적 운동 특징으로 사용한다.
• 자세 추정을 위해 PoseTrack 데이터셋에서 사전 훈련한 후, R(2+1)D와 같은 3D 백본과 함께 미세조정하거나 결합한다.

실험 결과

연구 질문

• RQ1 광학 흐름을 사용하지 않고도 Faster R-CNN과 같은 검출 모델이 RGB 비디오에서 직접 운동 표현을 학습할 수 있는가?
• RQ2 이전 프레임의 특징을 사용해 한 프레임에서 자세를 예측하도록 검출기를 훈련시키는 것이 의미 있는 운동 신호를 발견하게 하는가?
• RQ3 학습된 운동 특징(DiMoFs)이 관절 추적 및 행동 인식과 같은 후속 작업의 성능 향상에 기여하는가?
• RQ4 성능 및 효율성 측면에서 DiMoFs는 명시적 광학 흐름 특징보다 어떻게 비교되는가?
• RQ5 DiMoFs는 3D 컨볼루션 네트워크와 효과적으로 조합되어 행동 인식에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 세분화된 행동 인식에 대해 Diving48 데이터셋에서 24.1%의 정확도를 달성하여, TSN 및 TRN과 같은 2D 방법을 능가한다.
• DiMoFs를 광학 흐름으로 대체하면 정확도가 2.6% 감소한다 (18.8% 대비 21.4%), 이는 학습된 운동 특징이 명시적 흐름보다 우월함을 보여준다.
• 포즈 클러스터 ID 히스토GRAM만을 특징으로 사용할 경우 17.2%의 정확도를 기록하지만, DiMoFs를 추가하면 21.4%로 향상된다.
• Kinetics와 같은 대규모 데이터셋에서의 사전 훈련 없이도, Diving48에서 R(2+1)D 기준보다 2.7% 높은 성능을 기록하여, 작은 규모의 사전 훈련에서도 강력한 일반화 능력을 보인다.
• DiMoFs를 사전 훈련된 R(2+1)D 백본과 조합하면 31.4%의 정확도를 달성하여, 3D CNN과 DiMoFs 간의 특징 학습이 상호 보완적임을 시사한다.