[논문 리뷰] Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network

Sijin Li, Zhi-Qiang Liu외 1명|arXiv (Cornell University)|2014. 06. 13.

Human Pose and Action Recognition참고 문헌 23인용 수 46

한 줄 요약

이 논문은 인간 자세 추정을 위한 회귀와 슬라이딩 윈도우 기반 신체 부위 검출을 동시에 학습하는 이종 다중 작업 학습 프레임워크를 제안한다. 이러한 서로 다른 작업 간에 특징을 공유함으로써 네트워크는 더 강건하고 국소화된 표현을 학습하게 되어 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 중간 및 고차원 뉴런이 특정 신체 부위에 대해 선택적으로 반응하는 것으로 나타났다.

ABSTRACT

We propose an heterogeneous multi-task learning framework for human pose estimation from monocular image with deep convolutional neural network. In particular, we simultaneously learn a pose-joint regressor and a sliding-window body-part detector in a deep network architecture. We show that including the body-part detection task helps to regularize the network, directing it to converge to a good solution. We report competitive and state-of-art results on several data sets. We also empirically show that the learned neurons in the middle layer of our network are tuned to localized body parts.

연구 동기 및 목표

• 모노클러 2D 영상에서의 인간 자세 추정을 향상시키기 위해, 외관의 모호성과 자기 음영으로 인해 어려운 문제를 해결한다.
• 제한된 데이터로 깊이 신경망을 훈련시키는 데 어려움을 해결하기 위해 보조 작업을 도입하여 학습을 정규화한다.
• 자세 회귀와 신체 부위 검출에 모두 유익한 공유된 의미 있는 특징 표현을 학습한다.
• 깊이 신경망의 중간 레이어에서 뉴런의 반응 방식을 경험적으로 분석하고 시각화한다.

제안 방법

• 딥 컨volution 신경망을 두 가지 이종 작업인 관절 좌표 회귀와 슬라이딩 윈도우 기반 신체 부위 검출을 동시에 끝에서 끝까지 훈련한다.
• 네트워크는 두 작업 간에 초기 컨볼루션 레이어를 공유하여 공유된 특징 학습을 가능하게 하면서도, 각각의 작업에 맞는 고유한 헤드를 유지한다.
• 검출 작업은 각 슬라이딩 윈도우에 대해 이진 분류 문제로 설정되며, 각 윈도우는 특정 신체 부위의 존재 여부를 예측한다.
• 중간 및 고차원 레이어의 특정 뉴런을 최대로 활성화시키는 입력 이미지 영역을 식별하기 위해 백트래킹 알고리즘을 사용한다.
• 각 특징 맵에서 가장 활성화된 뉴런에 해당하는 백트래킹된 패치들을 평균하여 특징 시각화를 수행한다.
• 다중 작업 훈련을 활용하여 자세 회귀 네트워크의 정규화를 도모함으로써 일반화 성능 향상과 더 나은 국소 최소값 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 자세 회귀와 신체 부위 검출을 동시에 훈련시키는 것이 깊이 신경망의 특징 학습과 일반화 성능 향상에 기여하는가?
• RQ2 이종 다중 작업 학습을 통해 훈련된 깊이 신경망의 중간 레이어 뉴런은 국소화된 신체 부위 형태에 대해 선택적으로 반응하는가?
• RQ3 보조 작업으로서의 검출을 통합할 경우 자세 회귀 네트워크의 성능과 수렴 속도에 어떤 영향을 미치는가?
• RQ4 깊은 레이어에서 백트래킹된 활성화 패atters는 해석 가능한, 신체 부위 특화된 특징을 드러내는가?

주요 결과

• 제안된 이종 다중 작업 학습 프레임워크는 다양한 인간 자세 추정 기준 데이터셋에서 경쟁력 있고 최신 기술 수준의 성능을 달성한다.
• 신체 부위 검출을 보조 작업으로 포함시킴으로써 네트워크의 정규화 효과가 크게 향상되어 테스트 데이터에서 더 나은 수렴과 일반화 성능을 보였다.
• 네트워크의 중간 및 고차원 레이어 뉴런은 머리, 어깨, 팔, 목 등 국소화된 신체 부위 패턴에 대해 선택적으로 활성화되는 것으로 확인되었다.
• 백트래킹된 패치의 시각화 결과, 중간 레이어 특징(2번째 및 3번째 컨볼루션 레이어)은 명확한 패턴을 보이며 머리, 목, 사지 등을 검출하는 것과 유사한 특징을 나타내었다.
• 고차원 레이어 특징(3번째 레이어)는 좌/우 어깨 및 팔과 같은 다양한 위치에 있는 특정 신체 부위에 대해 선택성을 보이며, 특징 맵 내에서 공간 인식 능력을 갖춘 것으로 나타났다.
• 일부 고차원 레이어 특징은 수평 밴드(예: 문틀)와 같은 맥락적 구조에 반응하여 장면 맥락 통합의 잠재적 가능성을 시사한다.