[논문 리뷰] Body Joint guided 3D Deep Convolutional Descriptors for Action Recognition

Congqi Cao, Yifan Zhang외 2명|arXiv (Cornell University)|2017. 04. 24.

Human Pose and Action Recognition참고 문헌 34인용 수 6

한 줄 요약

이 논문은 인간의 신체 관절 위치를 활용해 3D 합성곱 특징 맵의 활성화를 선택적으로 풀링하는 Body Joint Guided 3D Deep Convolutional Descriptors (JDDs)를 제안한다. 이를 통해 영상 수준의 구분력 있는 기술자를 형성한다. 또한 정확한 뼈대 주석이 필요하지 않고, 관절 유도 풀링과 시공간 특징을 동시에 학습하는 엔드 투 엔드 두 개의 스트림을 갖춘 이원형 C3D 모델을 도입하여, UCF101 및 Kinetics 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Three dimensional convolutional neural networks (3D CNNs) have been established as a powerful tool to simultaneously learn features from both spatial and temporal dimensions, which is suitable to be applied to video-based action recognition. In this work, we propose not to directly use the activations of fully-connected layers of a 3D CNN as the video feature, but to use selective convolutional layer activations to form a discriminative descriptor for video. It pools the feature on the convolutional layers under the guidance of body joint positions. Two schemes of mapping body joints into convolutional feature maps for pooling are discussed. The body joint positions can be obtained from any off-the-shelf skeleton estimation algorithm. The helpfulness of the body joint guided feature pooling with inaccurate skeleton estimation is systematically evaluated. To make it end-to-end and do not rely on any sophisticated body joint detection algorithm, we further propose a two-stream bilinear model which can learn the guidance from the body joints and capture the spatio-temporal features simultaneously. In this model, the body joint guided feature pooling is conveniently formulated as a bilinear product operation. Experimental results on three real-world datasets demonstrate the effectiveness of body joint guided pooling which achieves promising performance.

연구 동기 및 목표

• 완전 연결층 특징에 의존하는 대신, 신체 관절 위치를 활용해 3D CNN의 특징 풀링을 유도함으로써 영상 행동 인식 성능을 향상시키는 것.
• 손으로 만든 뼈대 특징의 한계를 해결하는 것. 이는 검출 오차에 민감하고, '잡기'와 '기록하기'와 같은 유사 행동을 구분하기 어려운 점을 고려한다.
• 외부 뼈대 추정에 의존도를 줄이고, 뼈대 검출과 특징 풀링을 통합한 엔드 투 엔드 학습 가능한 모델을 개발하는 것.
• 부정확한 뼈대 추정 상황에서도 관절 유도 풀링의 강건성을 평가하여 실세계 응용에 대한 실용성을 검증하는 것.
• RGB 영상 입력만을 사용하여 표준 행동 인식 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 신체 관절 위치에 해당하는 공간적 위치에서 3D 합성곱 특징 맵의 활성화를 풀링하여 관절 풀링 기술자(JDD)를 형성한다.
• 특징 맵에 관절을 매핑하기 위한 두 가지 방법을 제안한다: 가장 가까운 이웃 샘플링과 이차보간.
• 두 개의 스트림을 갖춘 이원형 C3D 모델은 주의 스트림에서 ReLU를 시그모이드로 대체하여 관절 유도 풀링 가중치를 예측함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 풀링 연산은 관절 위치와 특징 맵 간의 이원형 곱으로 수식화되어, 미분 가능한 특징 집계를 가능하게 한다.
• 모델은 시공간 특징 추출을 위한 특징 스트림(C3D)과 관절 유도 풀링을 위한 주의 스트림을 갖추며, 양쪽 모두를 함께 학습한다.
• 다양한 합성곱 계층(예: conv4b 및 conv5b)에서 유도된 JDD의 다층 융합을 통해 구분력 있는 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 완전 연결층 특징에 비해, 3D CNN 특징의 신체 관절 유도 풀링이 행동 인식 성능 향상에 기여하는가?
• RQ2 본 방법은 뼈대 추정의 정확도가 떨어지는 상황에서도 강건한가? 그리고 여전히 기존 방법보다 우월한 성능을 보일 수 있는가?
• RQ3 사전 계산된 관절에 의존하지 않고도, 관절 유도 풀링 연산을 엔드 투 엔드 학습 가능한 딥 러닝 프레임워크에 통합할 수 있는가?
• RQ4 다양한 합성곱 계층에서 유도된 JDD의 융합이 인식 정확도 향상에 기여하는가?
• RQ5 두 개의 스트림을 갖춘 이원형 C3D 모델은 RGB 입력만을 사용하여 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 엔드 투 엔드 학습된 두 개의 스트림을 갖춘 이원형 C3D 모델은 미세조정 없이 UCF101에서 84.7%의 정확도를 달성하여, 모든 경쟁하는 RGB 기반 모델보다 뛰어난 성능을 보였다.
• 정답 뼈대 정보를 사용할 경우, conv4b와 conv5b에서 유도된 JDD의 다층 융합은 Kinetics에서 98.1%의 정확도를 달성하여, 본 논문에서 보고된 최고 수준의 결과였다.
• 부정확한 뼈대 추정 조건에서도 관절 유도 풀링 방법은 강력한 성능을 유지하여 강건성을 입증하였다.
• 고급 융합 방법을 사용할 경우, 두 개의 스트림을 갖춘 이원형 C3D 모델은 Kinetics에서 95.3%의 정확도를 달성하여, 이원형 수식의 효과성을 입증하였다.
• 제안된 방법은 C3D fc6 특징과 함께, 광범위한 유량 및 고밀도 궤적을 사용한 최신 기술 수준의 모델들보다도 뛰어난 성능을 보였다.
• 절단 분석 결과, 관절 유도 풀링이 전역 평균 풀링이나 fc6 특징보다 더 구분력 있는 시공간 패턴을 포착한다는 것이 확인되었다.