[논문 리뷰] Learning Temporal Pose Estimation from Sparsely-Labeled Videos

Gedas Bertasius, Christoph Feichtenhofer외 3명|arXiv (Cornell University)|2019. 06. 06.

Human Pose and Action Recognition참고 문헌 60인용 수 16

한 줄 요약

이 논문은 희박한 애너테이션(매 k 프레임마다)만으로도 영상에서 고밀도 시간적 자세 추정을 가능하게 하는 컴act한 딥러닝 모델인 PoseWarper를 제안한다. 비정형 움직임을 고려한 프레임 간 자세 왜곡을 학습하기 위해 탄성 컨볼루션을 활용함으로써, 자세 전파 및 시간적 집계에서 최신 기술 수준의 성능을 달성하였으며, 광범위한 광학 흐름 기반 방법(88.7% mAP 대비 83.8%)을 뛰어넘었고, 파rameter 수는 6M에 불과하다.

ABSTRACT

Modern approaches for multi-person pose estimation in video require large amounts of dense annotations. However, labeling every frame in a video is costly and labor intensive. To reduce the need for dense annotations, we propose a PoseWarper network that leverages training videos with sparse annotations (every k frames) to learn to perform dense temporal pose propagation and estimation. Given a pair of video frames---a labeled Frame A and an unlabeled Frame B---we train our model to predict human pose in Frame A using the features from Frame B by means of deformable convolutions to implicitly learn the pose warping between A and B. We demonstrate that we can leverage our trained PoseWarper for several applications. First, at inference time we can reverse the application direction of our network in order to propagate pose information from manually annotated frames to unlabeled frames. This makes it possible to generate pose annotations for the entire video given only a few manually-labeled frames. Compared to modern label propagation methods based on optical flow, our warping mechanism is much more compact (6M vs 39M parameters), and also more accurate (88.7% mAP vs 83.8% mAP). We also show that we can improve the accuracy of a pose estimator by training it on an augmented dataset obtained by adding our propagated poses to the original manual labels. Lastly, we can use our PoseWarper to aggregate temporal pose information from neighboring frames during inference. This allows our system to achieve state-of-the-art pose detection results on the PoseTrack2017 and PoseTrack2018 datasets. Code has been made available at: https://github.com/facebookresearch/PoseWarper.

연구 동기 및 목표

• 희박하게 애너테이션된 영상에서 효과적인 학습을 가능하게 하여 고밀도 영상 자세 데이터셋의 높은 애너테이션 비용을 줄이기.
• 운동 블러, 가림, 시간적 일관성 문제 등으로 인한 자세 추정의 도전 과제를 시간 모델링을 통해 해결하기.
• 광학 흐름에 의존하지 않고도 프레임 간 자세 지식을 전달할 수 있는 경량이며 파rameter 효율적인 왜곡 메커니즘 개발하기.
• 자세 전파, 모델 사전학습을 위한 의사라벨 생성, 추론 시 시간적 집계 등 실용적 응용 가능하게 하기.
• 훈련 데이터가 고밀도로 애너테이션되어 있어도 학습된 왜곡을 통한 시간 모델링이 성능 향상에 기여하는지 입증하기.

제안 방법

• 레이블이 부여된 프레임(프레임 A)의 인간 관절 키포인트 자세를 예측하기 위해, 시간적으로 떨어진 레이블이 없는 프레임(프레임 B)의 특징을 사용하는 PoseWarper 네트워크를 훈련한다.
• 학습 가능한 오프셋을 가진 3D 탄성 컨볼루션을 사용하여 프레임 B의 특징을 공간-시간적으로 샘플링함으로써 비정형 인간 운동을 모델링한다.
• 프레임 B의 특징을 사용하여 프레임 A에서의 자세 추정 오차를 최소화하는 방식으로 네트워크를 자기지도 학습 방식으로 훈련한다.
• 추론 시 네트워크의 방향을 뒤집어, 희박하게 레이블이 부여된 프레임의 수동 애너테이션을 레이블이 없는 프레임으로 전파하여 전체 영상의 자세 레이블링을 수행한다.
• 훈련 데이터를 증강하기 위해 PoseWarper가 예측한 자세를 의사라벨로 삽입하여 기본 자세 추정기의 성능 향상에 기여한다.
• 추론 파이프라인에 PoseWarper를 통합하여 인접 프레임의 시간적 맥락을 집계함으로써, 가림 및 블러에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 광학 흐름에 의존하지 않고도 딥러닝 모델이 희박한 프레임 간 정확한 시간적 자세 왜곡을 학습할 수 있는가?
• RQ2 작은 크기의 왜곡 메커니즘이 광범위한 광학 흐름 네트워크보다 자세 전파 작업에서 얼마나 뛰어난 성능을 내는가?
• RQ3 PoseWarper는 향상된 자세 추정기를 훈련하기 위한 고품질 의사라벨 생성에 얼마나 효과적인가?
• RQ4 학습된 왜곡을 통한 시간 집계가 벤치마크 영상 자세 데이터셋에서 추론 시 성능 향상에 기여하는가?
• RQ5 학습된 오프셋은 어떤 운동 패턴을 인코딩하는가? 인간의 운동 패턴과 일치하는가, 아니면 일반적인 광학 흐름과 유사한가?

주요 결과

• PoseWarper는 자세 전파에서 88.7% mAP를 기록하여 광학 흐름 기반 방법(83.8% mAP)을 뛰어넘었으며, 파rameter 수는 6M로 39M에 비해 극적으로 적다.
• PoseTrack2017 검증 세트에서 PoseWarper는 81.2% mAP, 테스트 세트에서는 77.9% mAP를 기록하여 단일 프레임 기반 베이스라인을 초월했다.
• PoseTrack2018 데이터셋에서 PoseWarper는 검증 세트에서 79.7% mAP, 테스트 세트에서는 78.0% mAP를 기록하여 시간적 집계 분야에서 새로운 최고 기록을 수립했다.
• 학습된 오프셋 맵은 서로 다른 신체 부위에 대해 구분되는 운동 패턴을 인코딩하며, 크기의 크기가 두드러진 인간 운동을 강조하고, 실제 관절 이동과 매우 밀접하게 일치한다.
• 의사라벨로 사용되었을 때, PoseWarper가 생성한 애너테이션은 증강된 데이터셋에서 미세조정된 기본 자세 추정기의 정확도를 향상시켰다.
• 모델의 시간적 집계 메커니즘은 운동 블러 및 가림에 대한 강건성을 향상시켜 도전적인 영상 시퀀스 전반에서 일관된 성능 향상을 이끌어냈다.