[논문 리뷰] Learning Human Optical Flow

Anurag Ranjan, Javier Romero외 1명|arXiv (Cornell University)|2018. 06. 14.

Human Pose and Action Recognition참고 문헌 30인용 수 3

한 줄 요약

이 논문은 인간 운동을 위해 특별히 훈련된 딥러닝 기반 광학 흐름 방법인 HumanFlow를 제안한다. 이는 146,020개의 인간 운동 시퀀스로 구성된 대규모 합성 데이터셋을 사용하여 지도 흐름을 갖춘 데이터셋을 기반으로 훈련되었다. 이 데이터셋을 바탕으로 SpyNet을 미세조정하고 엔드 투 엔드로 훈련 가능한 구조로 개선함으로써, 인간 운동에 대해 최신 기술보다 30% 높은 정확도를 달성하였으며, 실제 환경에서도 잘 일반화되며, 단지 7.8MB의 모델 크기로 32fps 속도로 실시간으로 작동한다.

ABSTRACT

The optical flow of humans is well known to be useful for the analysis of human action. Given this, we devise an optical flow algorithm specifically for human motion and show that it is superior to generic flow methods. Designing a method by hand is impractical, so we develop a new training database of image sequences with ground truth optical flow. For this we use a 3D model of the human body and motion capture data to synthesize realistic flow fields. We then train a convolutional neural network to estimate human flow fields from pairs of images. Since many applications in human motion analysis depend on speed, and we anticipate mobile applications, we base our method on SpyNet with several modifications. We demonstrate that our trained network is more accurate than a wide range of top methods on held-out test data and that it generalizes well to real image sequences. When combined with a person detector/tracker, the approach provides a full solution to the problem of 2D human flow estimation. Both the code and the dataset are available for research.

연구 동기 및 목표

• 인간 운동은 관절 운동, 자기 음영, 변형된 외관 등으로 인해 복잡하기 때문에 전용 광학 흐름 방법의 부족을 해결하기 위해.
• 정확한 실제 인간 흐름을 캡처하기 어려운 점을 보완하기 위해 지도 흐름이 있는 대규모이고 현실적인 합성 데이터셋을 구축하기 위해.
• 실제 영상 시퀀스로 일반화 가능한 인간 광학 흐름을 위해 특별히 훈련된 딥 네트워크를 훈련하기 위해.
• 모바일 및 임베디드 응용 프로그램에 적합한 경량 실시간 모델을 개발하기 위해.
• 연구자들이 인간 운동 이해 분야를 발전시킬 수 있도록 오픈소스 데이터, 코드, 및 훈련된 모델을 제공하기 위해.

제안 방법

• 저자들은 SMPL 신체 모델과 운동 캡처 데이터를 사용하여 146,020개의 이미지 쌍을 합성하여 다양한 인간의 체형, 자세, 운동을 현실적인 실내 환경에서 시뮬레이션한다.
• 3D 인간 신체 운동을 정확한 픽셀 수준의 운동 벡터로 렌더링하여 2D 영상 시퀀스로 변환함으로써 지도 광학 흐름을 합성적으로 생성한다.
• SpyNet 기반의 합성곱 신경망을 이 Human Flow 데이터셋에 대해 미세조정하고, 인간 운동에 대한 성능 향상을 위해 아키텍처를 수정한다.
• 네트워크를 엔드 투 엔드로 훈련 가능하도록 확장하여 특징 학습과 흐름 추정 정확도를 향상시킨다.
• 효율성 최적화를 통해 단순한 하드웨어에서 32fps로 작동하는 7.8MB 크기의 작고 효율적인 네트워크를 얻는다. 이 네트워크는 420만 개의 가중치 매개변수를 가진다.
• 실제 환경 평가를 위해 DPM 사람 검출기로 영상에서 인간 영역을 자르고, 이 자른 시퀀스에 대해 모델을 적용하여 흐름을 추정한다.

실험 결과

연구 질문

• RQ1 대규모 합성 인간 운동 데이터셋으로 훈련된 딥 러닝 모델이 일반 광학 흐름 방법보다 인간 전용 운동 추정에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 인간 운동에 대해 미세조정된 모델이 복잡한 배경과 운동을 포함한 실제 영상 시퀀스로 잘 일반화되는가?
• RQ3 정확도를 희생시키지 않고 인간 운동에 특화된 작고 실시간 광학 흐름 네트워크를 훈련시킬 수 있는가?
• RQ4 인간 운동 작업에서 인간 전용 흐름 모델의 성능이 최신 기술의 일반 광학 흐름 방법보다 어떻게 비교되는가?
• RQ5 사전 훈련된 백본에 비해 엔드 투 엔드 훈련이 인간 운동의 흐름 추정 정확도 향상에 얼마나 기여하는가?

주요 결과

• HumanFlow 모델은 인간 흐름 데이터셋에서 평균 종점 오차(AEPE)로 측정했을 때 이전 최신 기술보다 30% 높은 정확도를 달성하였다.
• 모델는 실제 환경에 잘 일반화되어 있으며, 손, 다리, 머리와 같은 미세한 인간 신체 부위를 음영 조건에서도 더 잘 해결하는 시각적으로 뛰어난 결과를 생성한다.
• HumanFlow는 단일 GPU에서 32fps로 작동하여 모바일 및 임베디드 장치에서 실시간 응용에 적합하다.
• 모델는 매우 작아서 메모리가 단지 7.8MB이며, 학습 가능한 매개변수는 420만 개로 효율적인 배포가 가능하다.
• 시각적 비교 결과 HumanFlow는 SPyNet, LDOF, EpicFlow, FlowFields 등의 방법보다 더 일관되고 정확한 흐름 필드를 생성한다. 특히 복잡한 운동 영역에서 두드러진다.
• 실제 질감과 배경을 가진 합성 데이터셋을 사용함으로써 고비용의 실제 영상 레이블링이 필요 없이 고품질의 훈련이 가능하다.