[논문 리뷰] Generative Action Description Prompts for Skeleton-based Action Recognition

Wangmeng Xiang, Chao Li외 3명|arXiv (Cornell University)|2022. 08. 10.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 논문은 GPT-3를 활용해 동작과 신체 부위 운동에 대한 세부적인 텍스트 기술을 자동으로 생성하는 사전 훈련된 언어 모델(GPT-3)을 활용하는 새로운 다중모달 훈련 프레임워크인 생성형 동작 기술 프롬프트(GAP)를 제안한다. 이 프레임워크는 대비 손실을 통해 텍스트 기술과 뼈대 특징을 정렬함으로써 추론 비용 없이 표현 학습을 향상시키며, NTU RGB+D, NTU RGB+D 120, NW-UCLA 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Skeleton-based action recognition has recently received considerable attention. Current approaches to skeleton-based action recognition are typically formulated as one-hot classification tasks and do not fully exploit the semantic relations between actions. For example, "make victory sign" and "thumb up" are two actions of hand gestures, whose major difference lies in the movement of hands. This information is agnostic from the categorical one-hot encoding of action classes but could be unveiled from the action description. Therefore, utilizing action description in training could potentially benefit representation learning. In this work, we propose a Generative Action-description Prompts (GAP) approach for skeleton-based action recognition. More specifically, we employ a pre-trained large-scale language model as the knowledge engine to automatically generate text descriptions for body parts movements of actions, and propose a multi-modal training scheme by utilizing the text encoder to generate feature vectors for different body parts and supervise the skeleton encoder for action representation learning. Experiments show that our proposed GAP method achieves noticeable improvements over various baseline models without extra computation cost at inference. GAP achieves new state-of-the-arts on popular skeleton-based action recognition benchmarks, including NTU RGB+D, NTU RGB+D 120 and NW-UCLA. The source code is available at https://github.com/MartinXM/GAP.

연구 동기 및 목표

• 유사한 동작들 사이의 미세한 의미적 차이를 포착하지 못하는 원-핫 분류의 한계를 해결하기 위해, 예를 들어 '승리의 손짓'과 '엄지 손가락 올리기'와 같은 동작 간의 세부적인 의미적 차이를 포괄하는 데 목적이 있다.
• 동작과 신체 부위에 대한 자연어 기술이 뼈대 기반 동작 인식에서 표현 학습을 향상시키는지 탐색하는 것.
• 비용이 많이 들지 않는, 확장 가능한 다중모달 훈련 체계를 개발하여 인간이 수작업으로 레이블을 붙인 뼈대-텍스트 데이터셋이 필요로 하는 것을 방지하는 것.
• 신체 부위 운동과 동작 의미에 대한 사전 지식을 통합함으로써 일반화 능력 향상과 특징 정렬을 향상시키는 것.
• 추론 시 계산 비용을 추가하지 않고도 표준 벤치마크에서 최신 기술 성능을 달성하는 것.

제안 방법

• 프롬프트 템플릿을 사용해 GPT-3를 지식 엔진으로 활용하여 동작과 개별 신체 부위에 대한 세부적이고 구조화된 텍스트 기술을 자동 생성한다.
• 관절 좌표를 위한 뼈대 인코더와 생성된 기술을 위한 텍스트 인코더를 갖춘 이중 인코더 프레임워크를 설계한다.
• 신체 부위의 텍스트 인코딩 특징을 해당 뼈대 특징과 정렬하기 위해 다중 부분 대비 손실을 적용한다.
• 전역 동작 임베딩에 대한 교차 엔트로피 손실과 부분 수준 특징에 대한 대비 손실을 결합하여 표현 학습을 향상시킨다.
• 텍스트 인코더는 훈련 기간 동안만 활성화되며, 뼈대 인코더는 분류 및 대비 감독을 모두 사용해 훈련한다.
• GPT-3를 통해 사전에 동작 기술을 생성함으로써 훈련 또는 테스트 중 실시간 LLM 추론이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 자동 생성된 자연어 기술이 동작과 신체 부위에 대해 뼈대 기반 동작 인식 성능을 향상시킬 수 있는가?
• RQ2 동작 기술에서 유래한 의미 지식을 통합할 경우, 미세한 동작 표현 학습에 어떤 영향을 미치는가?
• RQ3 LLM가 생성한 프롬프트를 사용한 다중모달 훈련 체계가 기존의 원-핫 분류 기반 베이스라인을 초월할 수 있는가?
• RQ4 제안된 방법은 신체 부위 운동의 미세한 차이가 있는 다양한 동작 카테고리로 일반화되는가?
• RQ5 추론 시 계산 비용을 추가하지 않고도 모델이 SOTA 성능을 달성할 수 있는가?

주요 결과

• GAP는 추가적인 추론 계산 비용 없이 NTU RGB+D, NTU RGB+D 120, NW-UCLA 벤치마크에서 최신 기술 성능을 달성한다.
• 손가락 움직임 기술을 통해 '승리의 손짓'과 '엄지 손가락 올리기' 간의 의미적 차이를 포착함으로써 표현 학습이 향상된다.
• 다중 부분 대비 손실의 사용은 뼈대와 텍스트 기반 신체 부위 표현 간의 특징 정렬을 크게 향상시킨다.
• 프레임워크는 LLM이 생성한 기술이 인간이 수작업으로 레이블을 붙인 텍스트 데이터 없이도 제로샷 또는 희소샷 설정에서 효과적인 지도 신호로 기능할 수 있음을 입증한다.
• 실험 결과, GCN, ST-GCN, Graphor를 포함한 다양한 기준 모델에서 일관되게 정확도 향상이 확인된다.
• 절단 분석 결과, 전역 및 부분 수준의 텍스트 지도 신호 모두 성능 향상에 기여하며, 특히 부분 수준의 대비 손실이 미세한 동작 식별에 매우 효과적임을 확인한다.