[논문 리뷰] SIA-GCN: A Spatial Information Aware Graph Neural Network with 2D Convolutions for Hand Pose Estimation

Deying Kong, Haoyu Ma외 1명|arXiv (Cornell University)|2020. 09. 25.

Hand Gesture Recognition Systems인용 수 11

한 줄 요약

이 논문은 손 관절 추정에서 공간적 관계를 향상시키기 위해 각 노드에서 2D 신뢰도 맵을 처리하고, 엣지별 2D 합성곱을 사용해 공간 정보를 전파하는 새로운 그래프 신경망인 SIA-GCN을 제안한다. 이 방법은 공간적 구조를 유지하고 서로 다른 관절 간의 차별화된 관계를 학습함으로써 팬오프틱 및 MHP 손 자세 추정 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) generalize neural networks from applications on regular structures to applications on arbitrary graphs, and have shown success in many application domains such as computer vision, social networks and chemistry. In this paper, we extend GNNs along two directions: a) allowing features at each node to be represented by 2D spatial confidence maps instead of 1D vectors; and b) proposing an efficient operation to integrate information from neighboring nodes through 2D convolutions with different learnable kernels at each edge. The proposed SIA-GCN can efficiently extract spatial information from 2D maps at each node and propagate them through graph convolution. By associating each edge with a designated convolution kernel, the SIA-GCN could capture different spatial relationships for different pairs of neighboring nodes. We demonstrate the utility of SIA-GCN on the task of estimating hand keypoints from single-frame images, where the nodes represent the 2D coordinate heatmaps of keypoints and the edges denote the kinetic relationships between keypoints. Experiments on multiple datasets show that SIA-GCN provides a flexible and yet powerful framework to account for structural constraints between keypoints, and can achieve state-of-the-art performance on the task of hand pose estimation.

연구 동기 및 목표

• 손 자세 추정에서 2D 공간 특징(예: 신뢰도 맵)을 처리하는 데 있어 표준 GNN의 한계를 해결하기 위해.
• 노드 간의 구조적 관계를 향상시키기 위해 엣지별 공간 특징 전파를 가능하게 하기 위해.
• 2D 합성곱을 그래프 네트워크 내부에 통합하여 공간 정보를 더 효과적으로 활용할 수 있는 유연한 프레임워크를 개발하기 위해.
• 학습 가능한 공간 인식 그래프 아키텍처를 사용하여 2D 손 자세 추정 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 그래프의 각 노드는 손 관절에 대한 2D 신뢰도 맵을 나타내며, 1D 벡터로 평탄화하는 대신 공간적 구조를 유지한다.
• 그래프 합성곱 연산은 메시지 전파 중 공간적 맥락을 유지하기 위해 각 엣지에 대해 2D 합성곱을 적용하여 구현된다.
• 각 엣지에 대해 서로 다른 학습 가능한 2D 합성곱 커널을 할당함으로써, 다양한 관절 쌍 간의 고유한 공간적 관계를 학습할 수 있다.
• 구조적 제약 조건을 사용하여 예측을 개선하기 위해 2D 자세 추정기(예: CPM)와 아키텍처를 통합한다.
• 다중 헤드 포인터 네트워크를 사용하여 여러 관절 구성에 주의를 기울이며, 가림을 견딜 수 있는 강건성을 향상시킨다.
• 표준 관절 회귀와 PCK 평가를 통해 최적화된 손실을 사용하여 단일 프레임 RGB 이미지에서 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 손 자세 추정에서 1D 노드 벡터 대신 2D 공간 특징(신뢰도 맵)을 효과적으로 처리할 수 있는 그래프 신경망은 가능한가?
• RQ2 엣지별 2D 합성곱은 손 관절 간의 다양한 공간적 관계를 향상시킬 수 있는가?
• RQ3 제안된 SIA-GCN 프레임워크는 기존의 GNN 기반 또는 그래픽 모델 기반 방법보다 2D 손 자세 추정에서 더 높은 성능을 달성하는가?
• RQ4 모델은 가림과 같은 도전적인 조건이나 새로운 도메인에 대해 얼마나 잘 일반화되는가?

주요 결과

• 팬오프틱 손 데이터셋에서 SIA-GCN은 mPCK 점수 71.65를 기록하여 이전 방법들인 R-MGMN(69.93)과 AGMN(70.34)을 능가했다.
• 더 크고 더 도전적인 MHP 데이터셋에서 SIA-GCN은 mPCK 85.56을 기록하여 최신 기술 수준의 기준선과 동일하거나 略로 초월했다.
• 모델은 강력한 도메인 일반화 능력을 보였으며, MPII+NZSL 데이터셋에서 기본 CPM 대비 PCK@0.08 기준 4.81점 향상되었고, SHG 대비 4.11점 향상되었다.
• 정성적 결과는 개선된 구조 일관성을 보이며, 부분적인 가림 조건에서도 정확하게 관절을 예측함을 시사한다.
• 1헤드에서 10헤드로 확장할 경우 모델의 복잡도는 오직 30~40%만 증가하므로, 능력 향상에도 비용 효율적인 파rameter화를 보였다.
• 실패 사례는 주로 심한 가림 또는 축소된 시야에서 발생하여 극단적 조건에서의 강건성에 한계가 있음을 시사한다.