[논문 리뷰] Human Body Measurement Estimation with Adversarial Augmentation

Nataniel Ruiz, Míriam Bellver외 5명|arXiv (Cornell University)|2022. 10. 11.

Infrared Thermography in Medicine인용 수 4

한 줄 요약

이 논문은 두 개의 실루엣 이미지와 신장/체중을 입력으로 받아 14개의 체형 측정치를 추정하는 딥 컨volution 네트워크인 BMnet를 제안한다. 모델의 정확도와 내성성을 향상시키기 위해, 극단적인 비만도(BMI)와 같은 희귀한 신체 형태를 생성하는 미분 가능한 적대적 신체 시뮬레이터(ABS)를 도입하여 모델의 취약점을 드러내고 이를 보완한다. 이로 인해 실제 데이터에서 최대 10%의 정확도 향상을 달성하였고, 기존 방법들보다 최대 3배 이상 뛰어난 성능을 기록하였다.

ABSTRACT

We present a Body Measurement network (BMnet) for estimating 3D anthropomorphic measurements of the human body shape from silhouette images. Training of BMnet is performed on data from real human subjects, and augmented with a novel adversarial body simulator (ABS) that finds and synthesizes challenging body shapes. ABS is based on the skinned multiperson linear (SMPL) body model, and aims to maximize BMnet measurement prediction error with respect to latent SMPL shape parameters. ABS is fully differentiable with respect to these parameters, and trained end-to-end via backpropagation with BMnet in the loop. Experiments show that ABS effectively discovers adversarial examples, such as bodies with extreme body mass indices (BMI), consistent with the rarity of extreme-BMI bodies in BMnet's training set. Thus ABS is able to reveal gaps in training data and potential failures in predicting under-represented body shapes. Results show that training BMnet with ABS improves measurement prediction accuracy on real bodies by up to 10%, when compared to no augmentation or random body shape sampling. Furthermore, our method significantly outperforms SOTA measurement estimation methods by as much as 3x. Finally, we release BodyM, the first challenging, large-scale dataset of photo silhouettes and body measurements of real human subjects, to further promote research in this area. Project website: https://adversarialbodysim.github.io

연구 동기 및 목표

• 이미지에서 신체 측정치를 정확하고 확장 가능한 방식으로 추정할 수 있는 방법의 부족을 해결하기 위해, 특히 체적 정확도가 요구되는 경우에 대비한다.
• 기존 3D 재구성 방법의 한계를 극복하기 위해, 체적 정밀도를 보장하지 못하고 측정치 추출을 위해 복잡한 후처리를 필요로 하는 문제를 해결한다.
• 학습 시 데이터 부족 문제를 완화하기 위해, 모델의 약점을 드러내는 합성적이고 도전적인 신체 형태를 생성한다.
• 특히 비만도가 높은 신체 유형과 같이 표현이 부족한 유형에 대해도 일반화 능력과 내성성을 향상시키기 위해 측정치 추정 모델의 성능을 개선한다.
• 본 연구 분야의 발전을 위해 신체 측정치 추정 분야의 새로운 벤치마크 데이터셋을 제공한다.

제안 방법

• BMnet는 두 개의 실루엣을 입력으로 받아 14개의 신체 측정치를 회귀하는 딥 컨volution 네트워크이며, 스케일 불확실성을 해결하기 위해 신장과 체중을 추가 입력으로 사용한다.
• 적대적 신체 시뮬레이터(ABS)는 고정된 자세 하에서 BMnet의 예측 오차를 최대화하도록 SMPL 신체 형태 파라미터를 최적화하는, 미분 가능한 엔드 투 엔드 프레임워크이다.
• ABS는 BMnet와 밀폐된 루프에서 작동하며, 역전파를 통해 데이터 분포의 격차와 모델의 취약점을 드러내는 적대적 예제를 생성한다.
• 적대적 최적화는 형태 파라미터에 대해 기울기 상승을 통해 수행되며, 실제 BodyM 참가자들로부터 초기화된 상태에서 Adam을 사용해 학습률 0.1로 5단계 동안 수행된다.
• 학습 데이터는 ABS로부터 유도된 적대적 형태로 증강되며, 추가적인 실재 데이터 수집 없이도 실제 환경 테스트 데이터에서 BMnet의 성능을 크게 향상시킨다.
• 이 방법은 SMPL 신체 모델을 미분 가능한 3D 메쉬 생성기로 활용하여, 실루엣의 미분 가능한 렌더링과 측정치 추출을 가능하게 하는 함수 g를 통해 측정치 추출을 수행한다.

(a)

실험 결과

연구 질문

• RQ1 SMPL 공간 내에서의 적대적 형태 생성이 체형 측정치 추정 모델의 데이터 분포 격차를 효과적으로 드러내고 보완할 수 있는가?
• RQ2 무작위 또는 증강 없이 대비할 때, 적대적 증강이 실제 인간 대상의 측정치 예측 정확도에 얼마나 기여하는가?
• RQ3 제안된 방법은 시뮬레이션된 데이터와 실제 데이터에서 평균 오차 및 개별 측정치 오차 측면에서 최신 기술 수준(SOTA) 방법과 비교해 어떤가?
• RQ4 희귀한 신체 형태, 특히 극단적인 비만도를 가진 경우에 대해, 적대적 데이터로 학습한 후 모델이 일반화 가능한가?
• RQ5 예측 메쉬에서 직접 물리적 측정치를 측정할 때, 메쉬 재구성 기반 접근법에 비해 제안된 방법이 더 우수한 성능을 보이는가?

주요 결과

• 적대적 증강은 실재 인간 대상에서 BMnet의 측정치 예측 정확도를 증강 없이 학습하거나 무작위 샘플링을 사용한 경우 대비 최대 10% 향상시켰다.
• 이 방법은 최신 기술 수준(SOTA)의 성능을 달성하였으며, 시뮬레이션 테스트 세트에서 기존 SOTA 방법 대비 오차 감소율이 최대 3배에 이르렀다.
• 실제 BodyFit 데이터셋에서, BMnet는 신장과 체중 정보가 제공되지 않은 경우조차도 최근의 HMR 기반 방법들보다 평균 오차를 35% 이상 감소시켰다.
• 적대적 증강은 모든 비만도 범주에서 오차를 크게 감소시켰으며, 특히 데이터 수가 적은 환경(1,000개 샘플)에서 개별 측정치에 대해 일관된 향상이 관찰되었다.
• 모델은 내성성과 일반화 능력이 뛰어나며, 희귀하고 극단적인 신체 형태에서도 뚜렷한 성능 향상을 보였다. 이는 ABS가 모델의 실패 원인을 효과적으로 발견하고 있음을 확인한다.
• 실제 2,505명의 참가자로부터 확보한 실루엣과 14개의 신체 측정치를 포함한 대규모 데이터셋 BodyM의 공개는 본 분야의 향후 연구를 위한 새로운 벤치마크를 제공한다.

(b)