[논문 리뷰] MetaFuse: A Pre-trained Fusion Model for Human Pose Estimation

Rongchang Xie, Chunyu Wang외 1명|arXiv (Cornell University)|2020. 03. 30.

Human Pose and Action Recognition참고 문헌 38인용 수 4

한 줄 요약

MetaFuse는 H36M, Total Capture 및 CMU Panoptic 데이터셋에서 최소한의 미세조정 데이터로 새로운 카메라 구성에 빠르게 적응할 수 있는 사전 훈련된 크로스뷰 특징 융합 모델을 제안한다. 융합 네트워크를 일반화된 메타학습 모델과 경량의 카메라별 변환으로 분해함으로써 MetaFuse는 최소한의 미세조정 데이터로도 H36M, Total Capture 및 CMU Panoptic 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Cross view feature fusion is the key to address the occlusion problem in human pose estimation. The current fusion methods need to train a separate model for every pair of cameras making them difficult to scale. In this work, we introduce MetaFuse, a pre-trained fusion model learned from a large number of cameras in the Panoptic dataset. The model can be efficiently adapted or finetuned for a new pair of cameras using a small number of labeled images. The strong adaptation power of MetaFuse is due in large part to the proposed factorization of the original fusion model into two parts (1) a generic fusion model shared by all cameras, and (2) lightweight camera-dependent transformations. Furthermore, the generic model is learned from many cameras by a meta-learning style algorithm to maximize its adaptation capability to various camera poses. We observe in experiments that MetaFuse finetuned on the public datasets outperforms the state-of-the-arts by a large margin which validates its value in practice.

연구 동기 및 목표

• 모든 새로운 카메라 쌍에 대해 재훈련이 필요한 기존 다중시점 자세 추정 방법의 확장성과 유연성 부족 문제를 해결하기 위해.
• 소량의 레이블된 이미지로 새로운 카메라 구성에 특징 융합 모델을 효율적으로 적응시킬 수 있도록 하기 위해.
• 다양한 카메라에서의 교차 뷰 특징 융합을 통해 가림 현상에 대한 강건성을 향상시키기 위해.
• 다양한 카메라 구성에서의 메타학습을 통해 일반화 능력이 뛰어난 일반적인 융합 모델을 개발하기 위해.
• 새로운 환경에 다중시점 자세 추정을 구현할 때 데이터 및 훈련 비용을 줄이기 위해.

제안 방법

• NaiveFuse 모델을 모든 카메라에 공통으로 사용하는 일반적인 융합 구성요소와 경량의 카메라별 애핀 변환으로 분해하기.
• 다양한 카메라 자세에서의 적응 성능을 극대화하기 위해 메타학습 알고리즘을 사용해 일반 융합 모델을 훈련하기.
• 목표 도메인에서 소량의 레이블된 이미지에 대해서만 카메라 의존적인 애핀 변환을 미세조정하기.
• 사전 훈련된 일반 모델을 강력한 인덕티브 바이어스로 활용해 소수의 샘플에 대한 적응 성능을 향상시키기.
• 엔드 투 엔드 다중시점 3D 자세 추정을 위해 어떤 2D 자세 추정 네트워크와도 MetaFuse를 통합하기.
• 수천 개의 카메라 쌍에서의 사전 훈련을 위해 CMU Panoptic 데이터셋을 활용해 일반화 능력을 향상시키기.

실험 결과

연구 질문

• RQ1 소량의 레이블된 데이터로 사전 훈련된 융합 모델이 새로운 카메라 쌍에 효과적으로 적응할 수 있는가?
• RQ2 메타학습이 다양한 카메라 구성에서 교차 뷰 특징 융합 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ3 분해된 융합 아키텍처가 복잡도를 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 기본 데이터셋에서 MetaFuse가 정확도와 데이터 효율성 측면에서 기존 융합 방법을 능가하는가?
• RQ5 기존 방법보다 훨씬 적은 훈련 이미지로 MetaFuse가 최신 기술 수준의 3D 자세 추정 성능을 달성할 수 있는가?

주요 결과

• H36M에서 50장의 이미지로 미세조정한 MetaFuse는 86.3% 대비 83.7%로, 관절 검출률에서 2.6% 향상된 성능을 보였다.
• H36M에서 500장의 이미지로 미세조정한 MetaFuse는 3D MPJPE 32.7 mm를 기록했으며, 전체 데이터셋을 사용한 최신 기술 수준 방법들을 능가했다.
• Total Capture 데이터셋에서 MetaFuse는 32.4 mm의 가장 낮은 3D 오차를 기록했으며, 시간 정보 모델링을 사용한 최근 방법들을 능가했다.
• Panoptic 데이터셋에서 200장의 이미지로 미세조정한 MetaFuse는 3D 오차를 No-Fusion의 40.47 mm에서 31.78 mm로 감소시켰다.
• Total Capture 데이터셋에서 500장의 이미지로 미세조정한 MetaFuse는 시간 정보를 사용하지 않은 LSTM-AE(34.1 mm)를 능가하는 32.4 mm의 3D 오차를 기록했다.
• Savitzky-Golay 필터를 적용하면 "Walking2" 동작에서 MetaFuse의 3D 오차가 약 5 mm 감소하여, 후처리 향상 잠재력이 높다는 점을 시사한다.