[논문 리뷰] 3D Human Pose, Shape and Texture from Low-Resolution Images and Videos

Xiangyu Xu, Hao Chen외 3명|arXiv (Cornell University)|2021. 03. 11.

Advanced Vision and Imaging참고 문헌 74인용 수 4

한 줄 요약

이 논문은 자기지도 학습과 대비 학습을 사용하여 저해상도 이미지 및 영상에서 3D 인간 자세, 형태, 텍스처를 추정하는 해상도 인지 딥 네트워크인 RSC-Net을 제안한다. 단일 모델로 다양한 해상도에서 최신 기술 수준의 성능을 달성하여 초해상도 및 해상도별 훈련의 한계를 극복한다.

ABSTRACT

3D human pose and shape estimation from monocular images has been an active research area in computer vision. Existing deep learning methods for this task rely on high-resolution input, which however, is not always available in many scenarios such as video surveillance and sports broadcasting. Two common approaches to deal with low-resolution images are applying super-resolution techniques to the input, which may result in unpleasant artifacts, or simply training one model for each resolution, which is impractical in many realistic applications. To address the above issues, this paper proposes a novel algorithm called RSC-Net, which consists of a Resolution-aware network, a Self-supervision loss, and a Contrastive learning scheme. The proposed method is able to learn 3D body pose and shape across different resolutions with one single model. The self-supervision loss enforces scale-consistency of the output, and the contrastive learning scheme enforces scale-consistency of the deep features. We show that both these new losses provide robustness when learning in a weakly-supervised manner. Moreover, we extend the RSC-Net to handle low-resolution videos and apply it to reconstruct textured 3D pedestrians from low-resolution input. Extensive experiments demonstrate that the RSC-Net can achieve consistently better results than the state-of-the-art methods for challenging low-resolution images.

연구 동기 및 목표

• 감시 및 스포츠 영상에서 흔한 저해상도 이미지에서 3D 인간 자세 및 형태 추정 문제를 해결한다.
• 고해상도 입력이나 초해상도에 의존하는 기존 방법의 한계를 극복한다. 이러한 방법들은 아티팩트와 도메인 갭을 유발하기 때문이다.
• 재학습이나 해상도별 적응 없이도 임의의 해상도에서 일반화 가능한 통합 딥 러닝 모델을 개발한다.
• 희박한 3D 애너테이션으로 인한 약한 지도 학습 문제를 해결하기 위해 자기지도 학습 및 대비 학습 전략을 도입한다.
• 저해상도 영상 입력에서 텍스처가 있는 3D 보행자 재구성으로 방법을 확장한다.

제안 방법

• 공유된 특징 추출기와 해상도에 따라 달라지는 파라미터를 갖는 해상도 인지 네트워크인 RSC-Net을 제안하여 다양한 해상도에서의 특징을 적절히 융합한다.
• 동일한 이미지의 서로 다른 해상도에서의 예측 간 척도 일관성을 강제하는 방향성 자기지도 손실을 도입하며, 더 높은 해상도의 출력을 가이던스로 사용한다.
• 깊은 특징 표현 간의 일관성을 확보하기 위해 대비 학습 기반의 손실을 사용하여 상호 정보를 최대화한다.
• 자기지도 손실에서 계층적 지도 학습 전략을 적용하여 고해상도 예측을 저해상도 예측의 소프트 타겟으로 활용한다.
• 전역적 컨텍스트 모듈과 업샘플링 레이어를 갖춘 인코더-디코더 아키텍처를 활용하여 텍스처 추정 네트워크의 UV 맵 품질을 향상시킨다.
• 고해상도에서 저해상도로 향하는 순차적 훈련 전략을 적용하여 최적화의 안정성과 수렴 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 해상도별 미세조정 없이도 단일 딥 네트워크가 다양한 저해상도 이미지에서 3D 인간 자세 및 형태를 효과적으로 추정할 수 있는가?
• RQ2 3D 애너테이션이 희박하거나 가용하지 않을 경우 자기지도 학습을 어떻게 활용해 3D 추정 성능을 향상시킬 수 있는가?
• RQ3 MSE 손실에 비해 대비 학습이 해상도 간 특징 표현 일관성 향상에 더 효과적인가?
• RQ4 순차적 훈련이 다중 해상도 저해상도 입력에 대한 모델 안정성과 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법은 영상 입력으로 일반화되어 저해상도 영상 시퀀스에서 고품질의 텍스처가 있는 3D 보행자 재구성에 성공할 수 있는가?

주요 결과

• RSC-Net은 다양한 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하는 저해상도 3D 인간 자세 및 형태 추정 성능을 달성한다.
• 절단 실험을 통해 해상도 인지 네트워크, 자기지도 학습, 대비 학습 등 모든 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• 고해상도 예측의 신뢰도를 활용한 방향성 자기지도 손실이 대칭적 자기지도 손실보다 우수하여 고해상도 출력의 열화를 줄였다.
• 대비 특징 손실은 MSE에 비해 더 나은 특징 표현을 제공함을 입증하였으며, 이는 해상도 간 일관성과 3D 추정 정확도 향상으로 이어졌다.
• 전역적 컨텍스트와 업샘플링 레이어를 갖춘 텍스처 추정 네트워크는 더 높은 품질의 UV 맵을 생성하였고, 포인트와 덧셈 융합 방법이 연결보다 우수한 성능을 보였다.
• 이 방법은 영상 입력으로도 잘 일반화되어 저해상도 영상 시퀀스에서 고품질의 텍스처가 있는 3D 보행자 재구성을 가능하게 하였다.