[논문 리뷰] Two-person Graph Convolutional Network for Skeleton-based Human Interaction Recognition

Zhengcen Li, Yueran Li외 3명|arXiv (Cornell University)|2022. 08. 12.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 두 사람의 뼈대를 하나의 통합된 그래프 구조로 통합하여 신체 내부 및 상호 간 관계를 모두 캡처하는 이인 그래프 컨볼루션 네트워크(2P-GCN)를 제안한다. 새로운 엣지 레이블링 전략과 이인 그래프 컨볼루션 블록을 도입함으로써, 4개의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, NTU-120-Interaction에서 이전 방법보다 최대 3.08% 높은 정확도를 기록했고, 파rameter 수는 1.47M, FLOPs는 3.74G에 불과하다.

ABSTRACT

Graph convolutional networks (GCNs) have been the predominant methods in skeleton-based human action recognition, including human-human interaction recognition. However, when dealing with interaction sequences, current GCN-based methods simply split the two-person skeleton into two discrete graphs and perform graph convolution separately as done for single-person action classification. Such operations ignore rich interactive information and hinder effective spatial inter-body relationship modeling. To overcome the above shortcoming, we introduce a novel unified two-person graph to represent inter-body and intra-body correlations between joints. Experiments show accuracy improvements in recognizing both interactions and individual actions when utilizing the proposed two-person graph topology. In addition, We design several graph labeling strategies to supervise the model to learn discriminant spatial-temporal interactive features. Finally, we propose a two-person graph convolutional network (2P-GCN). Our model achieves state-of-the-art results on four benchmarks of three interaction datasets: SBU, interaction subsets of NTU-RGB+D and NTU-RGB+D 120.

연구 동기 및 목표

• 기존 GCN 기반 방법들이 두 사람의 상호작용을 고립된 단일 인물 그래프로 취급하여 중요한 상호작용 정보를 손실한다는 한계를 해결하기 위해.
• 두 사람의 신체 내부 관계와 상호 간 관계를 동시에 코딩하는 통합된 이인 그래프 구조를 설계하기 위해.
• 모델이 구분 가능한 공간-시간 상호작용 특징을 학습할 수 있도록 유도하는 그래프 레이블링 전략을 개발하기 위해.
• 단일 그래프 컨볼루션 연산 내에서 효과적인 특징 추출을 가능하게 하는 이인 그래프 컨볼루션 블록(2P-GCB)을 제안하기 위해.
• 뼈대 기반 인간 상호작용 인식을 위한 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 논문은 각 프레임의 상호작용을 2N개의 관절(사람당 N개)을 가진 단일 그래프로 표현하는 이인 그래프를 도입하여, 신체 내부 및 상호 간 연결을 함께 모델링한다.
• 신체적 뼈대 연결(신체 내부)과 개인 간 연결(상호 간)을 모두 코딩하는 관계 기반 인접 행렬을 구성하며, 엣지 가중치는 상관관계 강도를 반영한다.
• 모델이 의미 있는 공간-시간 상호작용 특징을 학습할 수 있도록 유도하는 그래프 엣지 레이블링 전략을 설계하여 표현의 구분 능력을 향상시킨다.
• 통합된 이인 그래프에서 그래프 컨볼루션을 수행할 수 있도록 이인 그래프 컨볼루션 블록(2P-GCB)을 개발하여, 계층 간 상호작용 인식 특징을 유지한다.
• 2P-GCN 모델은 다양한 GCN 아키텍처에서 평가되어, 다양한 백본에서 일관된 정확도 향상을 보였다.
• 이 방법은 확장 가능하고 일반화 능력이 뛰어나며, 다인 및 인간-물체 상호작용 시나리오로의 확장 가능성도 있다.

실험 결과

연구 질문

• RQ1 통합된 이인 그래프 표현이 뼈대 기반 인간 상호작용 인식에서 상호 간 및 신체 내부 관계 모델링에 기여하는가?
• RQ2 그래프 레이블링 전략이 상호작용 인식을 위한 구분 가능한 공간-시간 특징 학습 능력에 어떤 영향을 미치는가?
• RQ3 고립된 단일 인물 그래프 대신 통합된 이인 그래프를 도입함으로써 다양한 GCN 아키텍처에서 일관된 성능 향상이 달성되는가?
• RQ4 제안된 2P-GCN이 표준 상호작용 인식 벤치마크에서 최신 기술 수준의 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 이인 그래프 표현은 단일 인물 동작 인식 작업에서도 성능 향상에 기여하는가?

주요 결과

• 2P-GCN은 X-Sub에서 97.05%, NTU-Interaction의 X-View에서 98.80%의 최신 기술 수준 정확도를 기록하며, 2S-AIGCN보다 각각 1.71%, 0.80% 높은 성능을 보였다.
• NTU120-Interaction에서 2P-GCN은 X-Sub120에서 93.47%, X-Set120에서 93.73%의 정확도를 기록하여 2S-AIGCN보다 각각 2.76%, 3.08% 높은 성능을 기록했다.
• SBU 데이터셋에서는 98.90%의 정확도를 기록하여 이전 최신 기술 수준 방법(AIGCN)보다 0.20% 높고, DR-GCN보다 0.14% 높았다.
• 더 풍부한 상호작용 특징을 모델링하고도 2P-GCN는 낮은 복잡도를 유지하여 총 1.47M 파라미터와 3.74G FLOPs에 불과했으며, 많은 최신 기술 수준 모델보다 크게 낮았다.
• 이인 그래프 표현은 상호작용 작업 뿐 아니라 단일 인물 동작 인식 작업에서도 성능 향상에 기여하여 더 넓은 활용 가능성을 보였다.
• 제거 실험 결과, 제안된 이인 그래프 구조가 테스트된 모든 GCN 모델에서 일관되게 정확도 향상을 이끌어내어 그 효과성과 일반화 능력을 입증했다.