[논문 리뷰] Skeleton based Activity Recognition by Fusing Part-wise Spatio-temporal and Attention Driven Residues

Chhavi Dhiman, Dinesh Kumar Vishwakarma외 1명|arXiv (Cornell University)|2019. 12. 02.

Human Pose and Action Recognition참고 문헌 50인용 수 5

한 줄 요약

이 논문은 뼈대 기반 3D 동작 인식 프레임워크인 RIAFNet을 제안하며, 부위별 시공간 특징과 주의 기반 잔차를 융합하여 동작 인식 성능을 향상시킨다. 뼈대를 다섯 개의 신체 부위로 분할하고 ResNet-Inception 하이브리드 아키텍처에 주의 메커니즘을 적용함으로써, UT-Kinect, Florence 3D, MSR Daily Action3D 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

There exist a wide range of intra class variations of the same actions and inter class similarity among the actions, at the same time, which makes the action recognition in videos very challenging. In this paper, we present a novel skeleton-based part-wise Spatiotemporal CNN RIAC Network-based 3D human action recognition framework to visualise the action dynamics in part wise manner and utilise each part for action recognition by applying weighted late fusion mechanism. Part wise skeleton based motion dynamics helps to highlight local features of the skeleton which is performed by partitioning the complete skeleton in five parts such as Head to Spine, Left Leg, Right Leg, Left Hand, Right Hand. The RIAFNet architecture is greatly inspired by the InceptionV4 architecture which unified the ResNet and Inception based Spatio-temporal feature representation concept and achieving the highest top-1 accuracy till date. To extract and learn salient features for action recognition, attention driven residues are used which enhance the performance of residual components for effective 3D skeleton-based Spatio-temporal action representation. The robustness of the proposed framework is evaluated by performing extensive experiments on three challenging datasets such as UT Kinect Action 3D, Florence 3D action Dataset, and MSR Daily Action3D datasets, which consistently demonstrate the superiority of our method

연구 동기 및 목표

• 빈자리 동작 인식에서의 클래스 내 변동성과 클래스 간 유사성 문제를 해결한다.
• 뼈대의 국소 운동 역학을 부위별 분해를 통해 모델링하여 인식 성능을 향상시킨다.
• 시공간 CNN 아키텍처에 주의 기반 잔차를 통합하여 특징 표현을 향상시킨다.
• 다양한 운동 복잡성과 시점 변화를 포함한 다양한 3D 동작 데이터셋에 대해 일반화 가능한 프레임워크를 개발한다.

제안 방법

• 시공간 특징 학습을 위한 국소화를 위해 3D 뼈대를 다섯 개의 해부학적 부위로 분할한다: 머리-척추, 왼쪽 다리, 오른쪽 다리, 왼쪽 손, 오른쪽 손.
• InceptionV4를 영감으로 삼은 하이브리드 아키텍처인 RIAFNet을 설계하여 잔차 블록(ResNet)과 다중 브랜치 컨볼루션(Inception)을 결합해 효과적인 3D 시공간 특징 추출을 수행한다.
• 시간에 따라 뼈대 내에서 두드러진 운동 패턴을 동적으로 강조하는 주의 기반 잔차를 도입하여 특징의 구분 능력을 향상시킨다.
• 부위별 특징을 융합하기 위해 가중치가 부여된 후기 융합 메커니즘을 적용하여, 동작 클래스 예측에 기여도가 높은 더 정보적인 신체 부위를 우선시한다.
• 3D 컨볼루션 레이어를 사용하여 뼈대 시퀀스의 관절 좌표 간의 공간적 및 시간적 의존성을 캡처한다.
• 교차 엔트로피 손실과 확률적 경사 하강법를 사용하여 네트워크를 훈련시키며, 기준 데이터셋에서 상위-1 및 상위-5 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 부위별 시공간 특징 학습은 뼈대 기반 동작 인식의 정확도 향상에 기여하는가?
• RQ2 주의 기반 잔차의 통합은 3D 뼈대에 대한 구분 능력 있는 특징 표현 향상에 얼마나 효과적인가?
• RQ3 부위별 특징의 가중치가 부여된 후기 융합은 전반적 특징 융합보다 더 나은 성능을 내는가?
• RQ4 제안된 RIAFNet 아키텍처는 다양한 운동 역학을 가진 다양한 3D 동작 데이터셋에 일반화 가능한가?
• RQ5 각 신체 부위(예: 손 vs. 다리)가 최종 동작 인식 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 RIAFNet은 UT-Kinect Action 3D 데이터셋에서 기록된 바 가장 높은 상위-1 정확도를 달성하였으며, 이전 최신 기술 수준의 방법들을 능가하였다.
• Florence 3D Action Dataset에서 모델은 미세한 운동 차이를 구분하는 데 특히 유의미한 성능 향상을 보였다.
• MSR Daily Action3D 데이터셋에서도 강력한 성능을 기록하여, 다양한 동작 카테고리와 운동 패턴을 포함한 데이터셋 간의 강건성을 확인하였다.
• 절단 분석 결과, 부위별 특징 추출과 주의 기반 잔차 양측 모두 성능 향상에 기여하는 것으로 확인되었다.
• 가중치가 부여된 후기 융합 메커니즘은 정보가 풍부한 신체 부위, 특히 동작 구분에 핵심적인 역할을 하는 손과 다리를 효과적으로 우선시하였다.
• 주의 메커니즘은 특히 미세한 제스처나 빠른 사지 운동을 포함하는 동작에서 두드러진 운동 패턴을 성공적으로 강조하였다.