[논문 리뷰] Focusing and Diffusion: Bidirectional Attentive Graph Convolutional Networks for Skeleton-based Action Recognition

Jialin Gao, Tong He외 2명|arXiv (Cornell University)|2019. 12. 24.

Human Pose and Action Recognition참고 문헌 39인용 수 12

한 줄 요약

이 논문은 뼈대 기반 행동 인식을 향상시키기 위해 프레임 내 의미적 종속성과 프레임 간 시간적 맥락을 모두 모델링하기 위해 양방향 주의 그래프 컨볼루션 네트워크(BAGCN)와 집중 및 확산 메커니즘을 제안한다. 양방향 LSTM을 통해 공간-시간 맥락을 캡처하고 이를 관절으로 되돌려보내는 학습 가능한 잠재 트랜스포머 노드를 도입함으로써, BAGCN은 NTU RGB+D 및 Skeleton-Kinetics 벤치마크에서 최신 기술 수준의 성능을 달성한다. NTU-RGB+D(Cross-Subject)에서 89.4%의 정확도와 Cross-View 프로토콜에서 96.3%의 정확도를 기록한다.

ABSTRACT

A collection of approaches based on graph convolutional networks have proven success in skeleton-based action recognition by exploring neighborhood information and dense dependencies between intra-frame joints. However, these approaches usually ignore the spatial-temporal global context as well as the local relation between inter-frame and intra-frame. In this paper, we propose a focusing and diffusion mechanism to enhance graph convolutional networks by paying attention to the kinematic dependence of articulated human pose in a frame and their implicit dependencies over frames. In the focusing process, we introduce an attention module to learn a latent node over the intra-frame joints to convey spatial contextual information. In this way, the sparse connections between joints in a frame can be well captured, while the global context over the entire sequence is further captured by these hidden nodes with a bidirectional LSTM. In the diffusing process, the learned spatial-temporal contextual information is passed back to the spatial joints, leading to a bidirectional attentive graph convolutional network (BAGCN) that can facilitate skeleton-based action recognition. Extensive experiments on the challenging NTU RGB+D and Skeleton-Kinetics benchmarks demonstrate the efficacy of our approach.

연구 동기 및 목표

• 기존 GCN가 한 프레임 내 비접속 관절 간의 암묵적 의미적 연결을 포착하는 데에 한계가 있음을 해결하기 위해.
• 고정되거나 사전 정의된 그래프 구조를 초월하여 인간 뼈대 시퀀스의 장거리 공간-시간 종속성을 모델링하기 위해.
• 맥락 인식형, 양방향 주의 메커니즘을 통해 동작에 특화된 동적이고 유연한 관절 관계를 학습함으로써 그래프 컨볼루션 네트워크를 향상시키기 위해.
• 두 단계의 집중 및 확산 과정을 통해 글로벌 공간-시간 맥락을 노드 표현에 통합함으로써 행동 인식 정확도를 향상시키기 위해.

제안 방법

• 집중 그래프와 확산 그래프를 서로 반대 방향으로 구성: 집중 그래프는 유의미한 프레임 내 연결을 학습하고, 확산 그래프는 맥락 정보를 공간 관절로 되돌려보내기 위함.
• 각 프레임당 하나의 학습 가능한 잠재 트랜스포머 노드를 도입하여 관련 관절을 동적으로 주시하고 공간 맥락을 인코딩하며, 주의 가중치는 학습 가능한 행렬 Wf를 통해 계산된다.
• 양방향 LSTM을 사용하여 학습된 잠재 노드의 시퀀스 기반으로 시간 동적 특성을 모델링하여 장거리 시간 종속성을 캡처한다.
• 두 단계 메시지 전달 메커니즘을 적용: 첫 번째 단계는 잠재 노드를 통해 유의미한 관절 연결에 집중하고, 두 번째 단계는 글로벌 맥락을 공간 노드로 다시 확산시켜 임베딩을 정밀화한다.
• 집중 및 확산 메커니즘을 표준 GCN 아키텍처에 통합한 양방향 주의 GCN(BAGCN)을 설계하여 선택적 주의와 맥락 인식형 특징 학습을 가능하게 한다.
• 공간 및 운동 브랜치의 후기 융합을 활용하여 성능을 추가로 향상시키며, 공간 스트림이 주로 인식 신호를 제공한다.

실험 결과

연구 질문

• RQ1 학습 가능한 잠재 노드가 단일 프레임 내에서 물리적 또는 사전 정의된 그래프 연결을 초월해 암묵적이고 동작에 특화된 관절 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 잠재 공간 노드에 대해 양방향 LSTM을 사용한 시간 모델링을 통합할 경우, 단방향 또는 맥락 모델링 없이 비교해 볼 때 인식 성능 향상 정도는 어떠한가?
• RQ3 집중 및 확산 메커니즘이 지역 노드 임베딩에 글로벌 공간-시간 맥락을 통합함으로써 특징 표현을 얼마나 향상시키는가?
• RQ4 기존의 고정되거나 학습 가능한 그래프 구조에 의존하는 GCN 기반 방법에 비해 제안된 메커니즘이 뼈대 기반 행동 인식에서 우월한 성능을 보이는가?

주요 결과

• NTU-RGB+D 데이터셋에서 Cross-Subject 프로토콜 하에서 BAGCN은 89.4%의 분류 정확도를 달성하여 기준 모델인 ST-GCN(84.8%)과 분석 모델들을 크게 앞서며 성능을 뛰어넘었다.
• 맥락 인식 모듈에 양방향 LSTM을 통합한 것이 가장 큰 기여를 하였으며, 맥락 없이 86.6%에서 맥락을 완전히 활용한 경우 89.4%로 정확도가 향상되었다.
• 공간 및 운동 브랜치의 융합은 Cross-Subject에서 90.3%, Cross-View에서 96.3%로 성능을 추가로 향상시켰으며, 운동과 공간 특징 간 상호 보완성이 뚜렷하게 드러났다.
• 시각화 결과, 학습된 잠재 노드가 동작에 특화된 관절—예를 들어 '읽기' 동작에서는 손과 머리—를 활성화하는 것으로 나타나, 모델이 의미 있는, 작업에 관련된 종속성을 학습하고 있음을 확인했다.
• 제거 실험 결과, 집중 및 확산 메커니즘과 시간 맥락 인식 모듈이 모두 필수적임을 입증하였으며, 둘 중 하나를 제거하면 성능이 2% 이상 감소하였다.
• 모델은 관절 간에 희박하고 동적인 연결을 효과적으로 학습하며, 주의 가중치는 각 동작에 따라 관련 있는 관절만 활성화됨을 보여주어 불필요한 관절에서 오는 노이즈를 줄였다.