[논문 리뷰] R-CNNs for Pose Estimation and Action Detection

Georgia Gkioxari, Bharath Hariharan외 2명|arXiv (Cornell University)|2014. 06. 19.

Human Pose and Action Recognition참고 문헌 25인용 수 127

한 줄 요약

이 논문은 작업별 손실 함수를 사용하여 공동으로 사람 검출, 인간 자세 추정 및 동작 분류를 수행하는 통합 R-CNN 프레임워크를 제안한다. 검출, 관건점 예측 및 동작 인식에 대해 단일 딥 네트워크를 공동으로 훈련시킴으로써, 단일 추론 단계를 통해 효율적인 다중 작업 추론을 가능하게 하며, PASCAL VOC에서 최신 기준 성능을 달성한다. 이는 동작 검출에서 24.6% mAP와 관건점 예측에서 15.5% 평균 AP를 기록한다.

ABSTRACT

We present convolutional neural networks for the tasks of keypoint (pose) prediction and action classification of people in unconstrained images. Our approach involves training an R-CNN detector with loss functions depending on the task being tackled. We evaluate our method on the challenging PASCAL VOC dataset and compare it to previous leading approaches. Our method gives state-of-the-art results for keypoint and action prediction. Additionally, we introduce a new dataset for action detection, the task of simultaneously localizing people and classifying their actions, and present results using our approach.

연구 동기 및 목표

• 비구속적인 이미지에서 사람 검출, 인간 자세 추정 및 동작 분류를 동시에 수행할 수 있는 딥 러닝 프레임워크를 개발하는 것.
• 기존 방법들이 테스트 시 진짜 객체 위치를 알고 있다는 가정을 하는 데서 비롯되는 한계를 해결하는 것. 이는 실제 응용에 있어서 비현실적인 가정이다.
• 정답 바운딩 박스가 없는 상황에서 로컬라이제이션과 동작 레이블링이 모두 필요로 하는 행동 검출을 위한 새로운 벤치마크 데이터셋을 제안하는 것.
• 공유된 특징을 사용한 다중 작업 훈련이 모든 세 가지 작업의 성능을 향상시키고 추론 비용을 줄이는 데 기여함을 보여주는 것.

제안 방법

• 검출, 관건점 예측 및 동작 분류를 위한 작업별 손실 함수를 사용하여 단일 컨볼루션 신경망을 훈련시킴으로써 R-CNN 프레임워크를 변형한다.
• 다중 작업 손실 함수를 사용: $\text{loss} = \lambda_D \text{loss}_D + \lambda_P \text{loss}_P + \lambda_A \text{loss}_A$, 여기서 $\lambda_A = 2$는 작업 간 데이터 불균형을 보정하기 위해 사용된다.
• 영역 제안을 입력으로 사용하며, 네트워크는 객체 클래스, 점수를 가진 관건점 위치, 신뢰도 점수를 가진 동작 레이블을 예측한다.
• ImageNet 사전 훈련 가중치를 기반으로 미세조정을 통해 네트워크를 훈련시키며, 동작 예측에는 소프트맥스를 사용하고, 분석 비교를 위해 fc6 특징에 SVM을 적용한다.
• 검출과 동작 분류를 공동으로 학습하는 Detection-Action R-CNN 및 세 가지 작업을 모두 공동으로 학습하는 Detection-Pose-Action R-CNN의 변종을 도입한다.
• PASCAL VOC 2012 및 PASCAL VOC 2009 데이터셋에서 표준 AP 메트릭을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 단일 딥 신경망이 성능 향상을 위해 사람 검출, 인간 자세, 동작 레이블을 동시에 예측할 수 있는가?
• RQ2 공유된 특징을 사용한 다중 작업 훈련이 단일 작업 기반 베이스라인 대비 자세 추정 및 동작 분류 성능에 어떤 영향을 미치는가?
• RQ3 자세 및 동작 예측을 최적화하는 동안 검출 정확도가 향상되는가?
• RQ4 통합 프레임워크가 작업별 특화된 모델을 능가하면서도 추론 비용을 줄일 수 있는가?

주요 결과

• Detection-Action R-CNN는 PASCAL VOC 2012 동작 검출 벤치마크에서 24.6% mAP를 기록하여, 정답 바운딩 박스를 가정하는 기존 방법들을 크게 앞서는 성능을 보였다.
• 이 방법은 PASCAL VOC 2009 VAL09B 세트에서 관건점 예측에 대해 15.5% 평균 AP를 기록하여 이전 최고 성능인 12.7%를 초월했다.
• Detection-Pose-Action R-CNN는 사람 검출에서 56.4% AP, 자세 추정에서 15.5% 평균 AP, 동작 검출에서 21.6% mAP를 기록하여 강력한 다중 작업 성능을 입증했다.
• 공동 훈련된 네트워크는 개별 모델 대비 최대 N배 빠른 성능을 보였으며, 이는 모든 작업에 대해 이미지당 단일 전방 전파만으로도 가능하기 때문이다.
• 검출 및 동작 분류를 위한 훈련된 네트워크(Detection-Action R-CNN)는 검출 전용 및 동작 전용 모델을 모두 능가하는 성능을 보였으며, 다중 작업 학습의 이점이 있음을 시사한다.
• 시각화 결과 네트워크가 공간적으로 일관된 주의를 학습하는 것으로 나타났다: '전화하기'와 '사진 찍기' 작업에서는 얼굴 영역이 우선적으로 고려되고, '걷기'와 '점프하기' 작업에서는 전신 영역이 사용된다.