[논문 리뷰] Inference Stage Optimization for Cross-scenario 3D Human Pose Estimation

Jianfeng Zhang, Xuecheng Nie외 1명|arXiv (Cornell University)|2020. 07. 04.

Human Pose and Action Recognition참고 문헌 55인용 수 19

한 줄 요약

이 논문은 추론 단계 최적화(Inference Stage Optimization, ISO)라는 새로운 프레임워크를 제안한다. 이 프레임워크는 추론 중에 레이블이 없는 타겟 데이터를 대상으로 기하학적 인식 자율학습(SSL)을 수행함으로써, 다양한 시나리오 간의 3D 인간 자세 추정 일반화 능력을 향상시킨다. 무작위 투영 적대자와 기하학적 사이클 일致성 기반의 기하학적 인식 SSL을 활용하여, 예측 이전에 모델을 인스턴스 기반으로 적응시킴으로써, MPI-INF-3DHP에서 83.6%의 3D PCK를 달성하여 이전 방법 대비 9.7% 향상된 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Existing 3D human pose estimation models suffer performance drop when applying to new scenarios with unseen poses due to their limited generalizability. In this work, we propose a novel framework, Inference Stage Optimization (ISO), for improving the generalizability of 3D pose models when source and target data come from different pose distributions. Our main insight is that the target data, even though not labeled, carry valuable priors about their underlying distribution. To exploit such information, the proposed ISO performs geometry-aware self-supervised learning (SSL) on each single target instance and updates the 3D pose model before making prediction. In this way, the model can mine distributional knowledge about the target scenario and quickly adapt to it with enhanced generalization performance. In addition, to handle sequential target data, we propose an online mode for implementing our ISO framework via streaming the SSL, which substantially enhances its effectiveness. We systematically analyze why and how our ISO framework works on diverse benchmarks under cross-scenario setup. Remarkably, it yields new state-of-the-art of 83.6% 3D PCK on MPI-INF-3DHP, improving upon the previous best result by 9.7%. Code will be released.

연구 동기 및 목표

• 새로운 시나리오에서 예측 분포가 알려지지 않은 경우 3D 자세 추정 모델의 성능 저하 문제를 해결하기 위해.
• 타겟 도메인에서 레이블이 없는 데이터가 필요 없이 모델의 일반화 능력을 향상시키기 위해.
• 레이블이 없는 타겟 인스턴스에서의 사전 지식을 활용하여 추론 중에 모델을 적응시키는 방법을 개발하기 위해.
• 순차적 데이터에 대해 온라인 버전의 프레임워크를 통해 효과적인 적응을 가능하게 하기 위해.
• 왜 및 어떻게 추론 단계 적응이 다양한 시나리오 간 성능 향상에 기여하는지에 대한 경험적 및 분석 기반 이해를 제공하기 위해.

제안 방법

• ISO 프레임워크는 추론 중 각 레이블이 없는 타겟 샘플에 대해 자율학습(SSL)을 수행하여 모델의 예측을 정밀하게 다듬는다.
• 기하학적 인식 자율학습 기법 두 가지를 활용한다: 무작위 투영 적대자와 기하학적 사이클 일치성으로 강건한 3D 자세 표현을 학습한다.
• 완전한 지도학습(FSL)과 SSL을 함께 훈련시켜 일반화 능력을 향상시키고 추론 시 적응을 효과적으로 가능하게 한다.
• 온라인 ISO 버전은 순차적 타겟 샘플 간에 SSL 업데이트를 스트리밍하여 계산 비용을 줄이고 실시간 적응을 가능하게 한다.
• 기하학적 사전 지식을 기반으로 각 타겟 인스턴스에 대해 역전파를 사용한 반복 최적화를 수행하여 3D 자세 추정을 정밀하게 다듬는다.
• 경량 추론 모드인 Online-skip는 10개의 샘플마다 SSL을 한 번만 수행하여 거의 실시간 성능을 달성하면서도 성능 저하를 최소화한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 데이터를 대상으로 한 자율학습이 다양한 시나리오 간 3D 자세 추정의 일반화 능력을 향상시킬 수 있는가?
• RQ2 무작위 투영 적대자와 기하학적 사이클 일치성과 같은 기하학적 인식 SSL 구성 요소가 추론 시 적응을 어떻게 향상시키는가?
• RQ3 온라인 적응이 순차적 데이터에 미치는 영향은 무엇이며, 배치 추론과 비교해 볼 때 어떤가?
• RQ4 노이즈가 있는 2D 자세 입력 조건에서 ISO는 어떻게 성능을 내며, 기준 모델보다 뛰어난가?
• RQ5 왜 ISO는 어려운 시나리오에서 머리, 손목, 발목과 같은 특정 신체 부위에서 더 뛰어난 성능을 내는가?

주요 결과

• ISO는 MPI-INF-3DHP 벤치마크에서 기존 최고 기록 대비 9.7% 향상된 새로운 최신 기준 83.6%의 3D PCK를 달성했다.
• 온라인 ISO 버전은 샘플당 0.027초의 시간으로 83.6%의 3D PCK를 달성하여 효율적인 실시간 추론을 가능하게 했다.
• Online-skip 버전은 샘플당 0.004초로 추론 시간을 단축시켜 표준 추론과 거의 유사한 성능을 달성하면서도 83.0%의 3D PCK를 유지했다.
• ISO는 머리, 손목, 발목과 같이 추정이 어려운 신체 부위에서 성능 향상이著격하게 나타나, 분포 이동에 대한 강건성을 보였다.
• 극도로 노이즈가 많은 가우시안 노이즈(σ=10) 조건에서도 ISO는 79.6%의 3D PCK를 유지하며 기준 모델(78.9%)을 능가했다.
• 분포 정렬 분석을 통해 ISO가 타겟 세트에서 예측된 3D 자세 분포를 참값 분포와 성공적으로 일치시켰음을 확인했다.