[논문 리뷰] JOLO-GCN: Mining Joint-Centered Light-Weight Information for Skeleton-Based Action Recognition

Jinmiao Cai, Nianjuan Jiang외 3명|arXiv (Cornell University)|2020. 11. 16.

Human Pose and Action Recognition참고 문헌 30인용 수 6

한 줄 요약

이 논문은 습관적인 움직임을 보다 정확하게 포착하기 위해 뼈대 시퀀스와 관절에 정렬된 광학 흐름 패치(Joint-aligned Optical Flow Patches, JFP)를 융합하는 이중 스트림 그래프 컬러리션 네트워크인 JOLO-GCN을 제안한다. 각 관절 주변의 움직임을 밀도 높고 운동학적으로 구조화된 광학 흐름 패치로 표현함으로써, NTU RGB+D, NTU RGB+D 120, 그리고 Kinetics-Skeleton에서 정확도를 향상시키면서도 낮은 계산 비용을 유지한다.

ABSTRACT

Skeleton-based action recognition has attracted research attentions in recent years. One common drawback in currently popular skeleton-based human action recognition methods is that the sparse skeleton information alone is not sufficient to fully characterize human motion. This limitation makes several existing methods incapable of correctly classifying action categories which exhibit only subtle motion differences. In this paper, we propose a novel framework for employing human pose skeleton and joint-centered light-weight information jointly in a two-stream graph convolutional network, namely, JOLO-GCN. Specifically, we use Joint-aligned optical Flow Patches (JFP) to capture the local subtle motion around each joint as the pivotal joint-centered visual information. Compared to the pure skeleton-based baseline, this hybrid scheme effectively boosts performance, while keeping the computational and memory overheads low. Experiments on the NTU RGB+D, NTU RGB+D 120, and the Kinetics-Skeleton dataset demonstrate clear accuracy improvements attained by the proposed method over the state-of-the-art skeleton-based methods.

연구 동기 및 목표

• 빈약한 뼈대 시퀀스가 미세한 움직임, 예를 들어 머리 흔들기나 정교한 손짓과 같은 국소적 미세 운동을 포착하지 못하는 한계를 해결하기 위해.
• 전반적인 뼈대 패턴은 유사하지만 국소적 운동이 다름으로써 행동 범주를 구분하는 데 어려움을 겪는 경우, 예를 들어 '손가락으로 가리키기'와 '셀피 찍기'를 개선하기 위해.
• 희소성을 유지하면서도 뼈대 기반 GCN와 효율적으로 융합할 수 있는 경량 시각 증강 방법을 개발하기 위해.
• 제안된 JFP 표현이 다양한 GCN 기반 백본과 대규모 데이터셋에서 일반화되고 효과적인지 입증하기 위해.

제안 방법

• 본 방법은 각 뼈대 관절 중심에서 RGB 영상 프레임에서 국소적 운동 특징을 추출하는 관절에 정렬된 광학 흐름 패치(Joint-aligned Optical Flow Patches, JFP)를 도입한다.
• JFP는 관절 좌표에 정렬된 경계 상자로 관절 위치 주변에서 자르며, 뼈대와 공간적·시간적 일치를 보장한다.
• 각 JFP에서 TV-L1 방법을 사용해 광학 흐름을 계산함으로써 국소적 운동 역학을 인코딩하고 미세한 운동 세부 정보를 유지한다.
• JFP 시퀀스는 희소한 시공간 그래프로 표현되어 이중 스트림 GCN 아키텍처를 통해 뼈대 그래프와 융합할 수 있다.
• 이중 스트림 네트워크는 뼈대 스트림과 JFP 스트림을 별도로 GCN로 처리한 후, 조기 또는 후기 융합을 통해 행동 인식 성능을 향상시킨다.
• 프레임워크는 ST-GCN 및 2S-AGCN 백본에서 평가되었으며, 다양한 아키텍처에서 일관된 성능 향상을 보였다.

Figure 1: The motivations of the proposed method. (a) Sample frames in the “shake head” sequence from NTU RGB+D [ 22 ] , where the skeletal joints of the head hardly capture the local subtle movements. (b) Different actions with similar skeleton sequences. Sample frames are taken from “taking a self

실험 결과

연구 질문

• RQ1 뼈대만으로는 미세한 운동 차이를 포착하지 못할 때, 관절 주변의 국소적 시각적 운동 특징이 뼈대 기반 행동 인식을 향상시킬 수 있는가?
• RQ2 기타 패치 모odalities인 관절에 정렬된 외관 또는 깊이 패치와 비교했을 때, 제안된 JFP 표현은 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 JFP를 뼈대 시퀀스와 융합함으로써 최신 기술 수준의 성능을 달성하면서도 낮은 계산 및 메모리 오버헤드를 유지할 수 있는가?
• RQ4 제안된 방법이 다양한 GCN 기반 백본과 데이터셋에서 얼마나 잘 일반화되는가?

주요 결과

• NTU RGB+D 데이터셋에서 2S-AGCN 백본을 사용한 JOLO-GCN은 상위 1 정확도 94.1%를 달성하여 이전 최신 기술 수준보다 0.5% 향상되었다.
• 동일한 백본을 사용하여 ST-GCN 베이스라인은 92.3%에서 93.8%로 1.5% 향상되었다.
• P-브랜치(JFP 스트림)는 뿐만 아니라 3.9G FLOPS와 22ms의 추론 시간을 추가하여 최소한의 계산 오버헤드를 보였다.
• JFP는 보조 모odal로 JAP과 JDP보다 우수한 성능을 보였으며, 2S-AGCN와 융합했을 때 93.83%의 정확도를 기록했고, JAP는 93.6%, JDP는 93.5%였다.
• 두 개 이상의 패치 모달리티(예: JFP + JDP)를 추가로 통합해도 이득이 미미했으며(94.1% 대비 93.8%), 수익 감소 현상이 나타났다.
• 제안된 방법은 일반화 능력이 뛰어나, NTU RGB+D, NTU RGB+D 120, 그리고 Kinetics-Skeleton의 세 데이터셋에서 ST-GCN과 2S-AGCN 백본 모두를 개선하는 데 성공했다.

Figure 2: The Joint-aligned optical Flow Patches (JFP) estimation from two successive frames with corresponding 2D pose joints. (b) Patches centered around body joints obtained for (a) a successive frame pair are first cropped to form (c) JAP pairs. (d) Residual optical flow is estimated from each J