[논문 리뷰] Test-Time Personalization with a Transformer for Human Pose Estimation

Yizhuo Li, Miao Hao외 3명|arXiv (Cornell University)|2021. 07. 05.

Human Pose and Action Recognition참고 문헌 71인용 수 11

한 줄 요약

이 논문은 추론 중에 레이블이 없는 테스트 이미지만을 사용하여 사전 훈련된 모델을 특정 개인에 맞게 적응시키기 위해 Transformer를 활용한 테스트 시간 개인화(Test-Time Personalization, TTP)를 제안한다. 감독 학습 및 자기지도 학습 키포인트 추정을 함께 훈련하고, 두 작업 간의 정렬을 위해 Transformer를 사용함으로써, 자기지도 학습 목표에 대한 테스트 시간 미세조정을 통해 자세 정확도를 향상시킨다. 이로 인해 Human 3.6M, Penn Action, BBC Pose에서 수동 레이블링이나 개인정보 침해가 우려되는 데이터 없이도 뚜렷한 성능 향상을 달성한다.

ABSTRACT

We propose to personalize a human pose estimator given a set of test images of a person without using any manual annotations. While there is a significant advancement in human pose estimation, it is still very challenging for a model to generalize to different unknown environments and unseen persons. Instead of using a fixed model for every test case, we adapt our pose estimator during test time to exploit person-specific information. We first train our model on diverse data with both a supervised and a self-supervised pose estimation objectives jointly. We use a Transformer model to build a transformation between the self-supervised keypoints and the supervised keypoints. During test time, we personalize and adapt our model by fine-tuning with the self-supervised objective. The pose is then improved by transforming the updated self-supervised keypoints. We experiment with multiple datasets and show significant improvements on pose estimations with our self-supervised personalization.

연구 동기 및 목표

• 사용자 레이블링 없이도 새로운 개인이나 분포 외 테스트 케이스에 일반화하기 어려운 2차원 자세 추정기의 도전 과제를 해결하기 위해.
• 단일 개인의 레이블이 없는 이미지만을 사용하여 추론 시간에 자세 추정을 개인화함으로써, 개인정보 보호를 유지하고 높은 비용이 드는 레이블링을 피하기 위해.
• 자기지도 학습 및 감독 학습 키포인트 추정 작업 간의 상관관계를 향상시키기 위해 학습 가능한 변환 기법을 개발하기 위해.
• 지속적인 영상이나 모델 재훈련 없이도 추론 중 자기지도 학습 목표에 대해 미세조정함으로써 자세 추정 성능을 향상시키는 방법을 설계하기 위해.

제안 방법

• 모델는 다양한 데이터에서 감독 학습 키포인트 추정과 외관 불변 히트맵 기반 자기지도 학습 키포인트 복원 작업을 함께 사용하여 사전 훈련된다.
• 자기지도 학습 및 감독 학습 키포인트 히트맵 간의 대응 관계와 유사도를 학습하기 위해 Transformer를 도입하여 교차 작업 개선을 가능하게 한다.
• 테스트 시간에, 타겟 개인의 레이블이 없는 프레임을 사용하여 자기지도 학습 헤드만 미세조정함으로써 모델을 개인화한다.
• 향상된 자기지도 학습 키포인트는 학습된 Transformer를 통해 변환되어 더 정확한 감독 학습 키포인트 예측을 생성한다.
• 모델는 연속된 프레임이 필요 없이 단일 이미지에서 작동하므로, 비연속 영상 또는 사진 시퀀스에도 적용 가능하다.
• 성능 평가는 여러 데이터셋에서 mPCK를 사용하며, Transformer와 TTP 메커니즘의 기여도를 검증하기 위한 분석 연구를 실시한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 키포인트 추정을 활용한 테스트 시간 적응이 인간 레이블 없이도 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 자기지도 학습 및 감독 학습 키포인트 헤드 간의 학습 가능한 Transformer 기반 변환 기법이 개인화에 어떻게 기여하는가?
• RQ3 추론 중에 사용 가능한 레이블이 없는 테스트 프레임 수가 증가할수록 성능 향상이 이루어지는가?
• RQ4 단일 이미지 입력만을 사용할 경우, 제안된 방법은 최신 비디오 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 방법은 Savitzky–Golay 필터링과 같은 시간적 스무딩 기법과 상호 보완적인가?

주요 결과

• Penn Action 데이터셋에서, 이 방법은 89.0 mPCK를 기록하여 기준 모델(85.2)보다 3.8점 향상되었으며, 온라인 및 오프라인 TTP 설정 모두에서 뚜렷한 성능 향상을 보였다.
• BBC Pose 데이터셋에서는 최고 케이스로 93.1 mPCK를 달성하여 기준 모델(88.7)과 일부 설정에서 최신 비디오 기반 모델을 초월했다.
• 더 많은 테스트 프레임이 제공될수록 성능 향상이 지속적으로 나타나, 추론 중 이용 가능한 레이블이 없는 데이터의 양에 따라 성능이 향상됨을 시사한다.
• 성능 향상은 시간 정보에 기인하지 않으며, 비연속 프레임에 적용해도 효과가 유지되며, 시간적 스무딩 기법과도 보완적으로 작용한다.
• Transformer 기반 변환 기법은 자기지도 학습 특징의 미세조정을 통해 감독 학습 키포인트 예측을 직접 향상시킴으로써 설계 선택의 타당성을 입증한다.
• 이 방법은 일반화 능력이 뛰어나, Penn Action에서 학습한 모델을 Human 3.6M에 적용했을 때 61.04 mPCK를 기록하여 데이터셋 간 강건성을 입증했다.