[논문 리뷰] MoDeep: A Deep Learning Framework Using Motion Features for Human Pose Estimation

Arjun Jain, Jonathan Tompson외 2명|arXiv (Cornell University)|2014. 09. 28.

Human Pose and Action Recognition참고 문헌 55인용 수 29

한 줄 요약

이 논문은 다중 해상도 컨볼루션 신경망을 통해 RGB 및 운동 특징을 동시에 활용함으로써 영상 내 인간 자세 추정 성능을 햖थ한 딥러닝 프레임워크인 MoDeep을 제안한다. 운동 특징이 포함된 FLIC-motion 데이터셋을 제작하고, 수작업으로 설계된 특징에 의존하는 최신 기법들을 능가하는 운동 특징 단독 입력이 우수한 성능을 보임을 입증함으로써, 운동 정보가 아키텍처의 복잡성 최소화에도 불구하고 자세 추정 정확도를 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

In this work, we propose a novel and efficient method for articulated human pose estimation in videos using a convolutional network architecture, which incorporates both color and motion features. We propose a new human body pose dataset, FLIC-motion, that extends the FLIC dataset with additional motion features. We apply our architecture to this dataset and report significantly better performance than current state-of-the-art pose detection systems.

연구 동기 및 목표

• 고차원 입력과 자세의 변동성이 높은 비제약 영상 시퀀스에서 관절이 있는 인간 자세 추정의 과제를 해결한다.
• 기존 방법이 수작업으로 설계된 외관 특징(예: HoG)에 크게 의존하고 운동 정보를 간과하는 한계를 극복한다.
• 특히 운동 흐름 크기와 같은 운동 특징이 RGB만으로는 달성할 수 없는 성능 향상을 이끌 수 있는 강력하고 구분력 있는 입력으로 기능할 수 있음을 입증한다.
• 실제 영상 분석 응용 프로그램에 적합한 실시간 구현이 가능한 효율적인 추론 시스템을 개발한다.
• 할리우드 영화 클립에서 추출한 운동 특징을 포함한 새로운 벤치마크 데이터셋인 FLIC-motion을 제안한다.

제안 방법

• RGB 이미지와 광학 흐름 특징을 동시에 입력으로 처리하는 다중 해상도 컨볼루션 신경망(CNN) 아키텍처를 사용하여 공간적 및 시간적 표현을 동시에 학습한다.
• 연속 프레임 간에 Lucas-Kanade 광학 흐름을 사용해 운동 특징을 추출하고, 2차원 흐름 벡터와 그 L2 크기를 네트워크의 입력으로 제공한다.
• 카메라 운동 보정 기법을 적용하여 배경 운동 잡음을 줄이고, 자세 추정에 영향을 줄 수 있는 요소를 제거한다.
• FLIC-motion 데이터셋의 참값 2D 관절 앵커파일을 기반으로 다중 척도 손실 함수를 사용해 키포인트 위치 예측을 위한 네트워크를 훈련시킨다.
• 슬라이딩 윈도우 평가 없이도 실시간 성능을 확보하기 위해 두 개의 연속 프레임을 동시에 처리하는 '원샷' 추론 전략을 사용한다.
• 운동 특징을 CNN의 추가 입력 채널로 통합하여, 수작업으로 설계된 시간 모델에 의존하지 않고도 공간-시간 사전 지식을 종합적으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비제약 영상에서 딥러닝 기반 자세 추정 성능을 RGB 특징만으로는 달성할 수 없는 수준으로 향상시키기 위해 운동 특징이 상당한 기여를 할 수 있는가?
• RQ2 RGB 입력 없이도 운동 특징 단독으로 수작업으로 설계된 특징(예: HoG)에 의존하는 최신 기법들을 능가할 수 있는가?
• RQ3 전체 2차원 흐름 벡터와 L2 크기 중 어떤 운동 표현 방식이 모델 성능과 일반화 능력에 영향을 미치는가?
• RQ4 자세 추정 정확도 측면에서 고려할 최적의 시간적 맥락(프레임 간격)은 어느 정도인가?
• RQ5 카메라 운동에 의한 성능 저하 정도는 어느 정도이며, 운동 보정 기법이 이 문제를 완화할 수 있는가?

주요 결과

• MoDeep는 FLIC-motion 데이터셋에서 기존 최신 기법들을 뛰어넘는 성능을 기록하며, 팔꿈치와 손목 관절 검출의 평균 정밀도가 모두 높다.
• RGB 입력 없이도 운동 흐름 크기만을 사용하는 경우, HoG와 같은 수작업 특징에 의존하는 여러 최신 기법([6], [7], [8])을 능가함을 입증하여 운동 정보의 가치를 입증한다.
• 모든 프레임 간격에서 운동 특징의 포함이 성능 향상에 기여하며, -1에서 -10 프레임 간격으로 증가할 경우 평균 정밀도가 3.9% 감소하는 것으로 나타났다(24fps 기준 약 0.42초).
• 놀랍게도 광학 흐름 벡터의 L2 크기 사용이 전체 2차원 흐름 벡터 사용보다 성능이 뛰어나거나 동등한 것으로 나타났으며, 이는 네트워크가 운동 방향에 대해 불변성을 학습하기 때문일 것이다.
• LMN를 통한 카메라 운동 보정이 예상한 성능 향상을 가져오지 못했으며, 이는 LMN가 대부분의 카메라 운동을 제거했거나 네트워크가 자동으로 평행 이동 효과를 무시하도록 학습했을 가능성이 있다.
• 모델은 거의 실시간 추론 속도를 기록하여 영상 분석 시스템에 실질적인 구현에 적합하다.