[논문 리뷰] SRNet: Improving Generalization in 3D Human Pose Estimation with a Split-and-Recombine Approach

Ailing Zeng, Xiao Sun외 4명|arXiv (Cornell University)|2020. 07. 18.

Human Pose and Action Recognition참고 문헌 41인용 수 17

한 줄 요약

SRNet은 별도의 브랜치에서 처리하는 국소 관절 그룹으로 몸을 분할하면서도 저차원의 전반적 맥락을 재결합하여 일관성을 유지함으로써 3D 인간 자세 추정의 일반화 성능을 향상시킨다. 이 방법은 긴 꼬리 분포를 가진 자세 분포의 영향을 줄이며, 특히 영상 기반 설정에서 드문 자세나 미리 보지 않은 자세에 대해 성능을 크게 향상시킨다. Human3.6M 및 3DHP 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Human poses that are rare or unseen in a training set are challenging for a network to predict. Similar to the long-tailed distribution problem in visual recognition, the small number of examples for such poses limits the ability of networks to model them. Interestingly, local pose distributions suffer less from the long-tail problem, i.e., local joint configurations within a rare pose may appear within other poses in the training set, making them less rare. We propose to take advantage of this fact for better generalization to rare and unseen poses. To be specific, our method splits the body into local regions and processes them in separate network branches, utilizing the property that a joint position depends mainly on the joints within its local body region. Global coherence is maintained by recombining the global context from the rest of the body into each branch as a low-dimensional vector. With the reduced dimensionality of less relevant body areas, the training set distribution within network branches more closely reflects the statistics of local poses instead of global body poses, without sacrificing information important for joint inference. The proposed split-and-recombine approach, called SRNet, can be easily adapted to both single-image and temporal models, and it leads to appreciable improvements in the prediction of rare and unseen poses.

연구 동기 및 목표

• 희귀하거나 미리 보지 않은 전반적 자세에 대해 3D 인간 자세 추정의 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 국소적으로 자주 발생하는 관절 구성 요소를 활용하여 학습 데이터의 긴 꼬리 분포 문제를 완화하기 위해.
• 합성 데이터 증강에 의존하지 않고도 새로운 자세에 대한 모델의 강건성을 향상시키기 위해.
• 구조적 네트워크 분해를 통해 국소 특징 학습을 향상시키면서도 전반적 자세의 일관성을 유지하기 위해.
• 단일 프레임 및 시간적 3D 자세 추정 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 인간 몸을 내부적으로 강한 의존성을 가지는 국소 관절 그룹으로 분할하고, 각 그룹을 전용 브랜치에서 처리한다.
• 각 브랜치는 국소 관절 구성 요소를 독립적으로 학습함으로써 덜 관련성이 있는 전반적 몸 부위의 영향을 줄인다.
• 다른 브랜치들로부터 계산된 저차원 전반적 맥락 벡터를 각 브랜치에 재결합하여 자세의 일관성을 유지한다.
• 전반적 맥락의 차원을 감소시켜 국소 특징 학습 중 관련 없는 신체 부위의 간섭을 최소화한다.
• 이 아키텍처는 단일 이미지 및 시간적 모델 모두와 호환되며, 영상 기반 자세 추정에 적용 가능하다.
• 추가적인 데이터 증강이 필요 없으며, 오직 원본 학습 데이터를 더 효과적으로 활용한다.

실험 결과

연구 질문

• RQ1 학습 데이터에서 빈번하게 발생하는 국소 관절 구성 요소를 활용하여 희귀하거나 새로운 전반적 자세에 대한 일반화 성능을 향상시킬 수 있는가?
• RQ2 신체를 국소 영역으로 분할하고 전반적 맥락을 재결합하는 방식이 기존의 엔드 투 엔드 네트워크보다 희귀 자세에 대해 성능을 향상시키는가?
• RQ3 이 분할-재결합 접근 방식이 단일 프레임 및 영상 기반 3D 자세 추정에서 기존 최신 기술 수준의 방법들을 초월할 수 있는가?
• RQ4 전반적 맥락 벡터의 차원 수가 성능 및 일반화에 어떤 영향을 미치는가?
• RQ5 이 방법이 학습 데이터의 긴 꼬리 분포에 미치는 영향을 어느 정도 줄일 수 있는가?

주요 결과

• Human3.6M의 Cross Action 프로토콜에서 이전 최신 기술 수준의 방법 [7]에 비해 상대적 개선률 12.2% (11.4mm 감소)를 기록했다.
• PI-3DHP 테스트 세트에서 SRNet은 평균 MPJPE 82.0mm를 기록하여 비교한 모든 이전 방법들을 능가했다.
• 2D 정답 입력을 사용할 경우, SRNet은 Human3.6M에서 32.0mm의 MPJPE를 달성했으며, [27]에 비해 14.0% 상대적 개선률(37.2mm → 32.0mm)을 보였다.
• 2D 관절 검출 결과를 입력으로 사용할 경우, MPJPE가 46.8mm에서 44.8mm로 4.3% 감소하여 검출 오차에 대한 강건성을 입증했다.
• 모델은 단지 3.61M 파라미터를 사용하며, [27]의 16.95M 파라미터의 약 1/5 수준으로 높은 효율성을 보였다.
• 제거 실험 결과, 분할-재결합 설계가 희귀 동작에 대해 성능 향상에 크게 기여하며, 특히 학습 빈도가 낮은 동작에서 두드러진다.