[논문 리뷰] Lifting Transformer for 3D Human Pose Estimation in Video.

Wenhao Li, Hong Liu외 3명|arXiv (Cornell University)|2021. 03. 26.

Human Pose and Action Recognition참고 문헌 59인용 수 18

한 줄 요약

이 논문은 3D 인간 자세 추정을 향상시키기 위해 순서의 부재를 줄이고 국소 및 전반적 맥락을 통합하기 위해 스트라이드 트랜스포머 인코더(ste)를 사용하는 새로운 트랜스포머 기반 아키텍처인 리프팅 트랜스포머를 제안한다. 전체 시퀀스와 단일 프레임의 감독을 결합하여 시간적 부드러움을 향상시킴으로써, 인간3.6M 및 HumanEva-I에서 기존 최고 성능를 달성하면서도 파rameter 수를 크게 줄였다.

ABSTRACT

Despite great progress in video-based 3D human pose estimation, it is still challenging to learn a discriminative single-pose representation from redundant sequences. To this end, we propose a novel Transformer-based architecture, called Lifting Transformer, for 3D human pose estimation to lift a sequence of 2D joint locations to a 3D pose. Specifically, a vanilla Transformer encoder (VTE) is adopted to model long-range dependencies of 2D pose sequences. To reduce redundancy of the sequence and aggregate information from local context, fully-connected layers in the feed-forward network of VTE are replaced with strided convolutions to progressively reduce the sequence length. The modified VTE is termed as strided Transformer encoder (STE) and it is built upon the outputs of VTE. STE not only significantly reduces the computation cost but also effectively aggregates information to a single-vector representation in a global and local fashion. Moreover, a full-to-single supervision scheme is employed at both the full sequence scale and single target frame scale, applying to the outputs of VTE and STE, respectively. This scheme imposes extra temporal smoothness constraints in conjunction with the single target frame supervision. The proposed architecture is evaluated on two challenging benchmark datasets, namely, Human3.6M and HumanEva-I, and achieves state-of-the-art results with much fewer parameters.

연구 동기 및 목표

• 비디오의 부족한 2D 자세 시퀀스에서 분별력 있는 단일 자세 표현을 학습하는 데 도전한다.
• 2D 자세 시퀀스에서 장거리 시간적 의존성을 유지하면서 계산 비용을 줄인다.
• 스트라이드 컨볼루션을 통해 트랜스포머의 전반적 맥락과 국소 맥락을 융합하여 특징 표현을 향상시킨다.
• 전체 시퀀스 및 단일 프레임 수준에서의 이중 감독 체계를 통해 시간적 부드러움을 향상시킨다.
• 기존 방법에 비해 모델 복잡도를 줄이고 표준 벤치마크에서 최고 성능를 달성한다.

제안 방법

• 2D 자세 시퀀스의 장거리 의존성을 모델링하기 위해 바닐라 트랜스포머 인코더(VTE)를 채택한다.
• VTE의 피드포워드 네트워크에서 완전 연결 층을 스트라이드 컨볼루션으로 대체하여 순서 길이를 점진적으로 감소시킨다.
• VTE의 출력을 기반으로 스트라이드 트랜스포머 인코더(ste)를 구성하여 효율적이고 계층적인 특징 통합을 달성한다.
• 전체 시퀀스에서 단일 프레임으로의 감독 체계를 도입: VTE의 전체 시퀀스 출력과 STE의 단일 프레임 출력을 모두 감독한다.
• 이중 감독을 활용하여 예측된 3D 자세에 시간적 부드러움 제약 조건을 적용한다.
• 표준 3D 자세 추정 메트릭을 사용하여 인간3.6M 및 HumanEva-I에서 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처는 3D 인간 자세 추정을 위한 2D 자세 시퀀스에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 피드포워드 네트워크에 있는 스트라이드 컨볼루션은 성능을 훼손하지 않으면서 순서의 부재와 계산 비용을 어느 정도 줄일 수 있는가?
• RQ3 전체 시퀀스와 단일 프레임 감독을 융합하면 시간적 부드러움과 3D 자세 추정의 정확도가 향상되는가?
• RQ4 경량 트랜스포머 기반 모델은 이전 방법에 비해 더 적은 파라미터로 최고 성능를 달성할 수 있는가?
• RQ5 제안된 리프팅 트랜스포머는 인간3.6M 및 HumanEva-I와 같은 다양한 벤치마크에서 어떻게 일반화되는가?

주요 결과

• 제안된 리프팅 트랜스포머는 인간3.6M 벤치마크에서 이전 방법을 능가하는 최고 성능를 달성한다.
• HumanEva-I 데이터셋에서 모델는 훨씬 적은 파라미터 수로 경쟁 가능한 성능를 기록한다.
• 스트라이드 트랜스포머 인코더(ste)는 표현 품질을 유지하면서 순서를 점진적으로 다운샘플링함으로써 계산 비용을 줄인다.
• 이중 감독 체계는 시간적 부드러움을 향상시켜 프레임 간에 더 일관된 3D 자세 예측을 이끈다.
• 이전 최고 성능 방법에 비해 더 적은 파라미터로 뛰어난 정확도를 달성하여 파라미터 효율성이 향상됨을 입증한다.
• 제거 실험 결과, 스트라이드 컨볼루션 대체와 전체-단일 프레임 감독 모두 성능 향상에 기여하는 것으로 확인되었다.