[논문 리뷰] Skeleton Focused Human Activity Recognition in RGB Video

Bruce X. B. Yu, Yan Liu외 1명|arXiv (Cornell University)|2020. 04. 29.

Human Pose and Action Recognition참고 문헌 45인용 수 7

한 줄 요약

이 논문은 인간 활동 인식을 위해 뼈대와 RGB 비디오 데이터를 모두 활용하는 다중모달 융합 모델을 제안한다. 뼈대 표현을 위해 그래프 컨volution 네트워크(GCN)를 사용하고, RGB 특징 학습을 안내하기 위해 뼈대 기반 주의 메커니즘을 적용한다. 이 방법은 끝에서 끝까지의 훈련을 통해 교차 모달 특징 통신과 구분 능력을 향상시켜 NTU-RGB+D 및 Northwestern-UCLA Multiview 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The data-driven approach that learns an optimal representation of vision features like skeleton frames or RGB videos is currently a dominant paradigm for activity recognition. While great improvements have been achieved from existing single modal approaches with increasingly larger datasets, the fusion of various data modalities at the feature level has seldom been attempted. In this paper, we propose a multimodal feature fusion model that utilizes both skeleton and RGB modalities to infer human activity. The objective is to improve the activity recognition accuracy by effectively utilizing the mutual complemental information among different data modalities. For the skeleton modality, we propose to use a graph convolutional subnetwork to learn the skeleton representation. Whereas for the RGB modality, we will use the spatial-temporal region of interest from RGB videos and take the attention features from the skeleton modality to guide the learning process. The model could be either individually or uniformly trained by the back-propagation algorithm in an end-to-end manner. The experimental results for the NTU-RGB+D and Northwestern-UCLA Multiview datasets achieved state-of-the-art performance, which indicates that the proposed skeleton-driven attention mechanism for the RGB modality increases the mutual communication between different data modalities and brings more discriminative features for inferring human activities.

연구 동기 및 목표

• 뼈대와 RGB 비디오 모달을 효과적으로 융합하여 인간 활동 인식 정확도를 향상시키는 것.
• 뼈대와 RGB 데이터 간의 상보적 정보를 활용해 더 견고한 특징 학습을 이루는 것.
• 양방향 상호 강화를 가능하게 하는 공동 학습 프레임워크를 설계하는 것.
• RGB 특징 추출을 향상시키기 위해 뼈대 기반 주의 맵을 활용하는 뼈대 주도 주의 메커니즘을 개발하는 것.
• 끝에서 끝까지의 훈련을 통해 표준 RGB+깊이 데이터셋에서 최신 기술 수준 성능을 달성하는 것.

제안 방법

• 뼈대 시퀀스의 공간-시간 표현을 학습하기 위해 그래프 컨volution 네트워크(GCN)를 사용한다.
• RGB 비디오 프레임에서 공간-시간 관심 영역(R-CNNs)을 추출하여 관련 인간 운동을 국소화한다.
• 뼈대 관건점의 동역학에 기반해 RGB 특징의 선택과 가중치 조정을 안내하기 위해 뼈대 기반 주의 메커니즘을 적용한다.
• 역전파를 통해 끝에서 끝까지의 훈련이 가능하게 하여 양 모달의 공동 최적화를 허용한다.
• 특징 융합은 표현 수준에서 이루어지며, 뼈대 및 RGB 스트림에서 유용한 보완 정보를 통합한다.
• 주의 메커니즘은 뼈대 기반 주의 맵을 사용해 RGB 비디오의 운동 관련 영역에 동적으로 집중한다.

실험 결과

연구 질문

• RQ1 뼈대와 RGB 모달의 공동 학습이 인간 활동 인식 정확도를 향상시킬 수 있는가?
• RQ2 뼈대 정보가 RGB 특징 학습의 주의 메커니즘에 얼마나 효과적으로 기여하는가?
• RQ3 제안된 다중모달 융합 전략이 표준 벤치마크에서 단일 모달 기반 베이스라인을 초월하는가?
• RQ4 뼈대 기반 주의 메커니즘이 RGB 특징의 구분 능력을 얼마나 향상시키는가?
• RQ5 통합 모델의 끝에서 끝까지의 훈련이 모달을 별도로 훈련시키는 것보다 더 나은 성능을 낼 수 있는가?

주요 결과

• 제안된 모델은 NTU-RGB+D 데이터셋에서 최신 기술 수준 성능을 달성하며, 기존 방법들을 능가한다.
• Northwestern-UCLA Multiview 데이터셋에서, 이 모델은 유사한 접근 방식 중에서 보고된 바 가장 높은 정확도를 달성한다.
• 뼈대 기반 주의 메커니즘이 운동 관련 영역에 집중함으로써 RGB 특징의 품질을 크게 향상시킨다.
• 뼈대와 RGB 모달의 융합은 단독으로 어떤 모달을 사용하는 것보다 더 구분 능력 있는 표현을 이끈다.
• 공동 최적화를 통한 끝에서 끝까지의 훈련은 모달을 별도로 훈련시키는 것보다 더 나은 성능을 낳는다.
• 그래프 컨volution 네트워크는 활동 인식을 위한 뼈대 시퀀스의 공간-시간 종속성을 효과적으로 포착한다.