[논문 리뷰] Human Action Recognition with Multi-Laplacian Graph Convolutional Networks

Ahmed Cherif Mazari, Hichem Sahbi|arXiv (Cornell University)|2019. 10. 15.

Human Pose and Action Recognition참고 문헌 103인용 수 4

한 줄 요약

이 논문은 다양한 그래프 구조에 맞게 조정된 기본 라플라시안의 볼록 조합으로서 그래프 라플라시안을 학습하는 다중-라플라시안 그래프 컨볼루션 네트워크(MLGCN)를 제안하여 인간 동작 인식을 수행한다. 이 방법은 맥락 인식형 이중 단계 풀링 메커니즘을 통해 특징 표현을 향상시키며, SBU 및 UCF-101 데이터셋에서 최신 기술 수준의 성능을 달성한다. 벡터형 모델과의 후기 융합을 통해 SBU에서 98.60%의 정확도와 UCF-101에서 63.27%의 정확도를 기록하였다.

ABSTRACT

Convolutional neural networks are nowadays witnessing a major success in different pattern recognition problems. These learning models were basically designed to handle vectorial data such as images but their extension to non-vectorial and semi-structured data (namely graphs with variable sizes, topology, etc.) remains a major challenge, though a few interesting solutions are currently emerging. In this paper, we introduce MLGCN; a novel spectral Multi-Laplacian Graph Convolutional Network. The main contribution of this method resides in a new design principle that learns graph-laplacians as convex combinations of other elementary laplacians each one dedicated to a particular topology of the input graphs. We also introduce a novel pooling operator, on graphs, that proceeds in two steps: context-dependent node expansion is achieved, followed by a global average pooling; the strength of this two-step process resides in its ability to preserve the discrimination power of nodes while achieving permutation invariance. Experiments conducted on SBU and UCF-101 datasets, show the validity of our method for the challenging task of action recognition.

연구 동기 및 목표

• 다양한 시공간적 구조를 가진 변형 가능한 크기의 반구조적 인간 동작 그래프를 다룰 수 없는 고정된 구조의 그래프 컨볼루션 네트워크의 한계를 해결한다.
• 노드 순서에 민감한 문제를 해결하기 위해 노드 순서에 영향을 받지 않는 풀링 메커니즘을 설계하여 그래프 기반 동작 인식의 순열 민감성 문제를 완화한다.
• 다양한 그래프 구성에 적합한 라플라시안 연산자들을 동적으로 조합하여 그래프 구조적 인간 동작 데이터에서의 표현 학습을 향상시킨다.
• 기본 데이터셋에서 그래프 기반 및 벡터 기반 딥 러닝 기준 모델과의 비교를 통해 제안된 방법의 효과성과 상호 보완성을 입증한다.

제안 방법

• 특정 그래프 구조에 특화된 여러 기본 라플라시안의 볼록 조합으로서 복합 라플라시안을 학습하는 새로운 스펙트럴 GCN 프레임워크를 제안한다.
• 각 기본 라플라시안은 서로 다른 그래프 구조(예: 관절 간 거리, 시간 연속성, 기하학적 구성 등)에서 유도되며, 복잡한 인간 운동 패턴을 적응적으로 모델링할 수 있다.
• 맥락 정보를 이웃 노드로부터 확장한 후 전역 평균 풀링을 적용하는 이중 단계 풀링 연산자를 도입하여 특징의 분류 능력을 유지하면서도 순열 불변성을 확보한다.
• 메시지 전달 과정에서 기본 라플라시안들에 대한 가중치를 학습 가능한 주의 메커니즘을 통해 동적으로 조정함으로써 구조적 변동에 대한 강인성을 향상시킨다.
• 골격 시퀀스의 시간적 청크를 활용하여 장거리 의존성 모델링을 향상시켜 특히 복잡한 동작 역학을 효과적으로 포착한다.
• 교차 엔트로피 손실와 ReLU 또는 Leaky ReLU 활성화 함수를 사용하여 모델을 엔드 투 엔드로 훈련하고, SBU 및 UCF-101에서 표준 동작 인식 메트릭을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 변형 가능한 구조를 가진 그래프에서 인간 동작 인식을 위한 GCN의 표현 능력을 다중-라플라시안 설계가 향상시킬 수 있는가?
• RQ2 맥락 인식형 이중 단계 풀링 메커니즘이 그래프 기반 동작 인식에서 특징의 분류 능력을 향상시키면서도 순열 불변성을 유지하는가?
• RQ3 제안된 MLGCN는 SBU 및 UCF-101과 같은 표준 벤치마크에서 최신 기술 수준의 벡터 기반 및 그래프 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ4 특히 가림 및 배경 혼잡성이 높은 상황에서 MLGCN가 기존 딥 러닝 모델과의 후기 융합을 통해 얼마나 효과적으로 보완되는가?
• RQ5 다양한 노드 특징 표현 방식(예: 관절 좌표, 방향, 거리 등)이 제안된 MLGCN 프레임워크 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 MLGCN는 SBU-골격 데이터셋에서 98.60%의 정확도를 기록하여, 3D CNN과의 후기 융합을 포함한 모든 기준 그래프 기반 및 벡터 기반 방법을 초월한다.
• UCF-101 데이터셋에서는 최적 설정에서 63.27%의 정확도를 달성하여 복잡한 배경 혼잡성과 변동하는 카메라 움직임이 존재하는 상황에서도 뛰어난 성능을 보였다.
• 절단 분석 결과, 제안된 이중 단계 풀링 메커니즘(맥락 확장 + 전역 평균 풀링)이 표준 전역 풀링 또는 특징 전파만을 사용하는 것보다 성능 향상이 뚜렷하게 이루어졌다.
• 볼록 조합을 통한 다중 라플라시안 사용은 단일 라플라시안 기반 기준 모델 대비 2.0–3.0%의 정확도 향상을 이끌어내어 구조적 적응 가능성의 이점을 입증했다.
• MLGCN를 3D CNN과 후기 융합하면 UCF-101에서 추가로 1.5–2.0%의 성능 향상이 있었으며, 이는 MLGCN가 벡터 기반 모델과의 상호 보완성을 가짐을 확인시켰다.
• 노드 특징 표현 방식에 관계없이 메서드가 강건하게 작동했으며, 가장 높은 성능는 관절 간 선 거리 또는 방향 특징을 사용했을 때 기록되었으며, 이는 더 풍부한 시공간 역학을 캡처하기 때문이었다.