[논문 리뷰] Action Recognition via Pose-Based Graph Convolutional Networks with Intermediate Dense Supervision

Lei Shi, Yifan Zhang외 2명|arXiv (Cornell University)|2019. 11. 28.

Human Pose and Action Recognition참고 문헌 39인용 수 13

한 줄 요약

이 논문은 인간 신체 부위 간의 시공간적 상관관계를 적응형 그래프 컨volution 모듈을 사용하여 모델링하는 포즈 기반 그래프 컨볼루션 네트워크(PGCN)를 제안하며, 행동 인식 성능을 크게 향상시킨다. 또한 배경 네트워크가 가장 분류에 유리한 신체 부위에만 집중하는 것을 방지하기 위해 중간 단계의 밀도 높은 감독을 도입하여, 추가적인 추론 비용 없이 Sub-JHMDB, PennAction, NTU-RGBD에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Pose-based action recognition has drawn considerable attention recently. Existing methods exploit the joint positions to extract the body-part features from the activation map of the convolutional networks to assist human action recognition. However, these features are simply concatenated or max-pooled in previous works. The structured correlations among the body parts, which are essential for understanding complex human actions, are not fully exploited. To address the problem, we propose a pose-based graph convolutional network (PGCN), which encodes the body-part features into a human-based spatiotemporal graph, and explicitly models their correlations with a novel light-weight adaptive graph convolutional module to produce a highly discriminative representation for human action recognition. Besides, we discover that the backbone network tends to identify patterns from the most discriminative areas of the input regardless of the others. Thus the features pooled by the joint positions from other areas are less informative, which consequently hampers the performance of the followed aggregation process for recognizing actions. To alleviate this issue, we introduce a simple intermediate dense supervision mechanism for the backbone network, which adequately addresses the problem with no extra computation cost during inference. We evaluate the proposed approach on three popular benchmarks for pose-based action recognition tasks, i.e., Sub-JHMDB, PennAction and NTU-RGBD, where our approach significantly outperforms state-of-the-arts without the bells and whistles.

연구 동기 및 목표

• 기존의 포즈 기반 행동 인식 방법이 관절 간의 구조적 상관관계를 忽시하고 신체 부위 특징을 독립적으로 다루는 한계를 해결하기 위해.
• 기본 네트워크의 컨볼루션 신경망(CNN)이 가장 분류에 유리한 영역에만 집중하는 경향을 완화하여, 덜 정보적인데도 상관관계가 있는 특징들이 제대로 활용되지 않는 문제를 해결하기 위해.
• 경량 그래프 컨볼루션 모듈을 통해 신체 부위 간의 동적이고 적응적인 관계를 명시적으로 모델링하여 행동 인식 성능을 향상시키기 위해.
• 추가적인 추론 비용 없이도 모든 입력 영역의 특징 학습을 향상시키는 중간 단계의 밀도 높은 감독 메커니즘을 도입하기 위해.

제안 방법

• 최종 3D CNN 특징 맵에서 풀링된 신체 부위 특징을 사용하여 인간 기반의 시공간 그래프를 구성하며, 노드는 관절을 나타내고, 엣지는 물리적 및 학습된 구조적 관계를 표현한다.
• 특징 상관관계에 기반하여 동적 엣지 가중치를 학습하는 새로운 경량 적응형 그래프 컨볼루션 모듈을 도입하여, 복잡한 동작 역학을 효과적으로 모델링한다.
• 전역 평균 풀링을 대체하여 마지막 특징 맵의 모든 공간 위치에 직접적으로 밀도 높은 헤드 분류 손실을 적용함으로써 중간 단계의 밀도 높은 감독을 도입한다.
• RGB 영상과 포즈 좌표를 통합하는 프레임워크를 사용하여 외관과 공간-시간적 구조를 함께 최적화함으로써 인식 성능을 향상시킨다.
• I3D 백본에서 영역별 특징을 추출하기 위해 포즈 기반 풀링 메커니즘을 적용하고, 이를 그래프 모듈에 공급하여 맥락 인식 기반 표현 학습을 수행한다.

실험 결과

연구 질문

• RQ1 학습 가능한 그래프 컨볼루션 모듈을 통해 신체 부위 간의 구조적 상관관계를 모델링하면, 단순한 연결 또는 풀링을 넘어서 행동 인식 성능 향상이 가능할까?
• RQ2 중간 단계의 밀도 높은 감독이 학습 도중 기본 네트워크가 가장 분류에 유리한 신체 영역에만 집중하는 것을 효과적으로 방지할 수 있을까?
• RQ3 추가 입력(예: 옵티컬 플로우 또는 포즈 추정 맵)에 의존하지 않고도 제안된 PGCN이 포즈 기반 행동 인식 벤치마크에서 최신 기술 수준 성능을 달성할 수 있을까?
• RQ4 통합 프레임워크를 통해 외관과 포즈 특징을 융합할 경우, 모달리티별로 특화된 모델과 비교해 인식 정확도에 어떤 영향을 미칠까?

주요 결과

• 중간 단계의 밀도 높은 감독을 적용한 PGCN는 Sub-JHMDB 스플릿 1에서 89.9%의 정확도를 기록하여, 이전 최신 기술 수준(SOTA)보다 2.8% 높으며, 추가적인 기능 없이도 성능을 확보했다.
• PennAction 데이터셋에서는 98.1%의 정확도를 달성하여 이전 최신 기술 수준보다 0.8% 향상되었으며, 다양한 행동 카테고리에 걸쳐 뛰어난 강인성을 입증했다.
• 더 큰 NTU-RGBD 데이터셋에서는 94.0%의 정확도를 기록하여 이전 최신 기술 수준보다 4.7% 높게 기록했으며, 확장성과 일반화 능력을 입증했다.
• I3D+FC에 적용했을 때 중간 단계의 밀도 높은 감독 메커니즘이 Sub-JHMDB에서 1.1% 향상되고 PennAction에서도 1.1% 향상되어, 특징 다양성 향상에 효과적임을 입증했다.
• RGB와 포즈 특징을 통합된 PGCN 프레임워크에서 융합한 결과 Sub-JHMDB에서 91.0%의 정확도를 기록하여, 가장 우수한 단일 모odal 방법보다 1.3% 높았으며, 강력한 상호보완성을 보였다.