[논문 리뷰] GANerated Hands for Real-time 3D Hand Tracking from Monocular RGB

Franziska Mueller, Florian Bernard외 5명|arXiv (Cornell University)|2017. 12. 04.

Human Pose and Action Recognition참고 문헌 57인용 수 8

한 줄 요약

이 논문은 깊이 모호성, 가림, 시점 변화 등의 도전 과제가 존재하는 단일 RGB 영상에서 실시간 3D 손 추적을 가능하게 하기 위해, 기하학적으로 일관된 GAN을 사용해 합성 데이터에서 현실적인 손 이미지를 합성하면서도 자세 애너테이션을 유지하는 새로운 방법을 제안한다. 이 방법은 GAN으로 처리된 합성 데이터를 기반으로 CNN을 훈련시켜 RGB 전용 벤치마크에서 최신 기술 수준의 성능을 달성하며, 가림과 시점 변화 상황에서도 강인하고 시간적으로 부드럽고 해부학적으로 타당한 3D 손 추적을 가능하게 한다.

ABSTRACT

We address the highly challenging problem of real-time 3D hand tracking based on a monocular RGB-only sequence. Our tracking method combines a convolutional neural network with a kinematic 3D hand model, such that it generalizes well to unseen data, is robust to occlusions and varying camera viewpoints, and leads to anatomically plausible as well as temporally smooth hand motions. For training our CNN we propose a novel approach for the synthetic generation of training data that is based on a geometrically consistent image-to-image translation network. To be more specific, we use a neural network that translates synthetic images to "real" images, such that the so-generated images follow the same statistical distribution as real-world hand images. For training this translation network we combine an adversarial loss and a cycle-consistency loss with a geometric consistency loss in order to preserve geometric properties (such as hand pose) during translation. We demonstrate that our hand tracking system outperforms the current state-of-the-art on challenging RGB-only footage.

연구 동기 및 목표

• 제약 조건이 없는 단일 RGB 영상에서 실시간 3D 손 추적을 가능하게 하며, 깊이 모호성, 가림, 시점 변화 등의 도전 과제로 인해 어려운 문제를 해결한다.
• 딥 러닝 모델 훈련을 위한 대규모, 고해상도, 3D 애너테이션 정보가 포함된 RGB 데이터셋의 부족 문제를 해결한다.
• 쌍체의 실재-합성 데이터가 필요 없이도, 합성 데이터로 훈련된 CNN의 일반화 성능을 향상시키기 위해 실세계 이미지 분포와 분포상 일치시키는 방법을 개발한다.
• 이미지 간 번역 과정에서 손 자세를 유지하는 방법을 개발하여, 합성된 3D 애너테이션이 현실적인 이미지로 변환된 후에도 유효한 상태를 유지한다.

제안 방법

• 기하학적 일관성 손실를 추가한 기하학적으로 일관된 GAN(GeoConGAN)을 사용하여, 합성된 손 이미지를 현실적인 외관으로 변환하면서도 손 자세를 유지한다. 이는 적대적 손실와 사이클 일관성 손실와 함께 사용된다.
• 기하학적 일관성 손실는 원본 합성 이미지의 3D 손 관절 위치가 변환된 이미지에서도 유지되도록 보장하여, 질감 번짐을 최소화하고 윤곽선의 선명함을 유지한다.
• 3D 손 모델을 사용해 완벽한 3D 진짜값이 포함된 합성 손 이미지를 생성하고, 다양한 조명, 시점, 배경을 적용하여 다양성이 확보된 훈련 세트를 구성한다.
• 변환된 이미지(이를 'GANerated' 이미지로 지칭함)를 사용해 RGB 입력으로부터 2D 관절 히트맵과 루트 기반 3D 관절 위치를 동시에 추정하는 CNN(RegNet)을 훈련시킨다.
• 운동학적 피팅 단계는 2D 예측값과 상대적 3D 관절 위치를 조합하여 전반적인 3D 손 자세를 복원하며, 깊이 모호성을 해결하고 시간적 부드러움을 보장한다.
• 최종 추적 파이프라인은 실시간으로 작동하며, GTX 1080 Ti에서 한 번의 추론에 13ms가 소요되어 일반 RGB 웹캠에서도 구동이 가능하다.

실험 결과

연구 질문

• RQ1 쌍체의 실재-합성 데이터가 없이도, GAN 기반의 이미지 간 번역 방법이 합성에서 실세계 유사 이미지로의 변환 과정에서 3D 손 자세를 유지할 수 있는가?
• RQ2 실세계 분포를 모방하도록 변환된 합성 이미지(GANerated 이미지)로 훈련된 CNN이, 원시 합성 데이터로 훈련된 경우에 비해 실제 RGB 영상에서 3D 손 추적 성능을 향상시키는가?
• RQ3 단일 RGB 영상만을 사용하는 시스템이 가림과 제약 없는 카메라 시점 조건에서도 실시간으로 강인한 3D 손 추적을 얼마나 잘 수행할 수 있는가?
• RQ4 제안된 방법은 최신 기술 수준의 RGB-D 및 RGB 전용 손 추적 방법과 비교해 정확도에서 어떤가? 특히 전반적인 손의 루트 위치 추정에서 어떻게 성능을 내는가?

주요 결과

• 제안된 GeoConGAN은 표준 CycleGAN에 비해 손 자세 유지, 질감 번짐 감소, 윤곽선 선명함 향상으로 인해 이미지 번역 품질을 크게 향상시킨다.
• GANerated 데이터로 훈련된 RegNet 모델은 RGB 전용 Dexter 및 EgoDexter 벤치마크에서 최신 기술 수준의 성능을 달성하며, 3D PCK(정확한 관절 키포인트 비율) 측면에서 이전 방법들을 능가한다.
• Dexter+Object 벤치마크에서 20mm 임계값 기준 3D PCK가 78.4%를 기록하여, RGB 입력만을 사용함에도 불구하고 뛰어난 성능을 입증한다.
• 제거 실험 결과, 기하학적 일관성 손실가 없어지면 자세 왜곡과 성능 저하가 심각하게 발생함을 확인하여, 이 손실이 번역 과정에서 자세를 유지하는 데 필수적임을 입증한다.
• 소비자용 GPU에서 13ms의 추론 시간으로 실시간으로 작동하여, 제약 없는 환경에서 일반 RGB 웹캠에 쉽게 구현이 가능하다.
• RGB-D 방법과의 정량적 비교 결과, 주요 성능 격차는 루트 위치 추정의 정확도 부족에서 기인함을 확인하여, 루트 자세 추정이 여전히 단일 RGB 영상 전용 추적에서 핵심 과제임을 시사한다.