[논문 리뷰] LocATe: End-to-end Localization of Actions in 3D with Transformers

Jiankai Sun, Bolei Zhou외 2명|arXiv (Cornell University)|2022. 03. 21.

Human Pose and Action Recognition인용 수 4

한 줄 요약

LocATe는 3D 인간 자세 시퀀스를 사용하여 동작 스포츠와 동작 분류를 동시에 검출하는 엔드 투 엔드 트랜스포머 기반 방법을 제안한다. 장거리 시간적 의존성을 모델링하기 위해 희소 자기주의와 세트 예측 형식을 도입하여 PKU-MMD에서 최신 기준 mAP 93.2%를 달성하고, 더 도전적인 새로운 벤치마크 BT20을 제시한다.

ABSTRACT

Understanding a person's behavior from their 3D motion is a fundamental problem in computer vision with many applications. An important component of this problem is 3D Temporal Action Localization (3D-TAL), which involves recognizing what actions a person is performing, and when. State-of-the-art 3D-TAL methods employ a two-stage approach in which the action span detection task and the action recognition task are implemented as a cascade. This approach, however, limits the possibility of error-correction. In contrast, we propose LocATe, an end-to-end approach that jointly localizes and recognizes actions in a 3D sequence. Further, unlike existing autoregressive models that focus on modeling the local context in a sequence, LocATe's transformer model is capable of capturing long-term correlations between actions in a sequence. Unlike transformer-based object-detection and classification models which consider image or patch features as input, the input in 3D-TAL is a long sequence of highly correlated frames. To handle the high-dimensional input, we implement an effective input representation, and overcome the diffuse attention across long time horizons by introducing sparse attention in the model. LocATe outperforms previous approaches on the existing PKU-MMD 3D-TAL benchmark (mAP=93.2%). Finally, we argue that benchmark datasets are most useful where there is clear room for performance improvement. To that end, we introduce a new, challenging, and more realistic benchmark dataset, BABEL-TAL-20 (BT20), where the performance of state-of-the-art methods is significantly worse. The dataset and code for the method will be available for research purposes.

연구 동기 및 목표

• 로컬라이제이션과 인식을 별도로 다루는 이단계 3D-TAL 방법의 한계를 해결하여 오류 전파와 상호 보완적 개선의 부재를 방지한다.
• 단일 특징 세트를 사용하여 동작 로컬라이제이션과 인식을 동시에 최적화하는 엔드 투 엔드 프레임워크를 개발한다.
• 트랜스포머 기반 아키텍처를 활용해 고차원 3D 자세 시퀀스에서 장거리 시간적 의존성을 모델링하는 데 도전 과제를 극복한다.
• 3D-TAL 분야의 향후 발전을 자극하기 위해 실제적이고 도전적인 새로운 벤치마크 데이터셋인 BABEL-TAL-20 (BT20)을 제안한다.
• 2D 영상 특징이나 사전 훈련된 동작 인식 백본 특징보다 원시 3D 관절 위치가 3D-TAL의 입력 표현으로 더 효과적임을 입증한다.

제안 방법

• 모델이 (시작 시간, 종료 시간, 동작 레이블) 튜플의 집합을 출력하는 세트 예측 문제로 3D-TAL을 공식화하여 동시에 발생하는 동작를 모델링할 수 있도록 한다.
• 희소 자기주의를 사용한 트랜스포머 인코더-디코더 아키텍처를 활용해 3D 자세 시퀀스의 장거리 시간적 상관관계를 효율적으로 모델링한다.
• 연속된 8프레임의 3D 관절 위치를 입력으로 사용하며, 이는 자기주의를 통해 임베딩되고 처리되어 단기 및 장기 운동 패턴을 포착한다.
• 사전 훈련된 2D 또는 동작 인식 특징에 의존하지 않고 오직 3D 관절 위치만을 입력으로 사용하는 완전한 주의 기반 설계를 구현한다.
• 계산 비용을 줄이고 장거리 시퀀스에서 주의 집중을 향상시키기 위해 유연한 주의 메커니즘을 적용한다.
• 평가에는 최적의 이분 매칭을, 최종 출력 정제에는 후처리 응용에서 비최대 억제(NMS)를 사용한다.

실험 결과

연구 질문

• RQ1 이중 단계 방법과 비교해 엔드 투 엔드 트랜스포머 기반 모델이 3D-TAL에서 동작 로컬라이제이션과 인식을 동시에 향상시킬 수 있는가?
• RQ2 희소 자기주의를 통해 3D 자세 시퀀스의 장거리 시간적 의존성을 모델링하면 자동 회귀나 이중 단계 기반 모델보다 성능이 향상되는가?
• RQ3 2D 영상 특징이나 사전 훈련된 동작 인식 모델의 특징보다 원시 3D 관절 위치 입력이 3D-TAL에서 더 효과적인가?
• RQ4 3D-TAL 모델의 성능은 샘플 수 부족 외에도 클래스 빈도, 내부 클래스 분산, 동작 복잡도에 얼마나 의존하는가?
• RQ5 BABEL-TAL-20과 같은 더 현실적이고 도전적인 새로운 벤치마크 데이터셋이 기존 최신 기술의 한계를 드러내며 3D-TAL 분야의 발전을 효과적으로 자극할 수 있는가?

주요 결과

• LocATe는 PKU-MMD 벤치마크에서 기존 이단계 방법보다 뚜렷하게 높은 최신 기준 mAP 93.2%를 달성한다.
• 최근 도입된 BABEL-TAL-20 (BT20) 벤치마크에서 최신 기술 방법들이 상당히 낮은 성능을 기록함에 따라, BT20가 더 도전적이고 현실적인 것을 시사한다.
• 손가락이나 손 관절 데이터 없이도 '무언가를 움켜쥐기' 및 '무언가를 놓기'와 같은 복잡한 동작을 성공적으로 로컬라이제이션하고 인식한다.
• 제거 분석 결과 3D 관절 위치 입력이 가장 높은 성능을 보였으며(BT20에서 mAP 23.4), 2D 특징(14.5)과 2S-AGCN 특징(21.3–21.4)을 모두 능가한다.
• 일부 동작, 예를 들어 '무언가를 움켜쥐기'의 경우 재현율이 낮지만 빈번하고 정확하게 예측함으로써 강력한 시간적 및 전신 맥락 모델링 능력을 보여준다.
• 클래스 빈도와 mAP 간 명확한 상관관계가 없음을 통해 샘플 수 부족 외에도 내부 클래스 분산과 동작 복잡도가 어려움의 주요 기여 요소임을 시사한다.