[논문 리뷰] GestureGAN for Hand Gesture-to-Gesture Translation in the Wild

Hao Tang, Wei Wang외 3명|arXiv (Cornell University)|2018. 08. 14.

Human Pose and Action Recognition참고 문헌 61인용 수 7

한 줄 요약

이 논문은 단일 생성기와 판별기만을 사용하여 비구속 환경에서 손동작을 다양한 자세, 크기, 위치로 변환하는 조건부 GAN인 GestureGAN을 제안한다. 채널 오염을 완화하기 위한 새로운 색상 손실과 사이클 일致성 손실을 도입하여 사진처럼 생생하고 고화질의 생성 이미지를 달성함으로써, 손동작 인식 작업에서의 데이터 증강에 적합한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Hand gesture-to-gesture translation in the wild is a challenging task since hand gestures can have arbitrary poses, sizes, locations and self-occlusions. Therefore, this task requires a high-level understanding of the mapping between the input source gesture and the output target gesture. To tackle this problem, we propose a novel hand Gesture Generative Adversarial Network (GestureGAN). GestureGAN consists of a single generator $G$ and a discriminator $D$, which takes as input a conditional hand image and a target hand skeleton image. GestureGAN utilizes the hand skeleton information explicitly, and learns the gesture-to-gesture mapping through two novel losses, the color loss and the cycle-consistency loss. The proposed color loss handles the issue of "channel pollution" while back-propagating the gradients. In addition, we present the Fréchet ResNet Distance (FRD) to evaluate the quality of generated images. Extensive experiments on two widely used benchmark datasets demonstrate that the proposed GestureGAN achieves state-of-the-art performance on the unconstrained hand gesture-to-gesture translation task. Meanwhile, the generated images are in high-quality and are photo-realistic, allowing them to be used as data augmentation to improve the performance of a hand gesture classifier. Our model and code are available at https://github.com/Ha0Tang/GestureGAN.

연구 동기 및 목표

• 비구속 환경에서 다양한 자세, 크기, 위치, 가림을 포함한 손동작 간 변환 문제를 해결하기 위해.
• 명시적인 손 뼈대 감독를 통해 복잡한 사전 처리 및 환경 제약 조건에 대한 의존도를 줄이기 위해.
• 생성 모델에서 발생하는 채널 오염으로 인한 흐림 현상을 개선하고 이미지 품질을 향상시키기 위해.
• 다양한 손동작 도메인에 대해 별도의 모델을 훈련시킬 필요 없이 확장 가능한 프레임워크를 개발하기 위해.
• 생성된 이미지가 손동작 분류 작업에서의 데이터 증강에 실제로 유용한지 평가하고 검증하기 위해.

제안 방법

• GestureGAN은 원본 손동작 이미지와 타겟 손 뼈대 이미지를 조건으로 하는 단일 생성기와 판별기를 사용한다.
• 모델은 각 채널을 별도로 처리하여 역전파 중 기울기 간섭을 방지하고 채널 오염을 줄이기 위해 새로운 색상 손실을 통합한다.
• 원본 이미지와 변환된 손동작 이미지 간의 구조 일치성을 강제하기 위해 사이클 일치성 손실이 도입된다.
• 프레셰 리스넷 거리(Fréchet ResNet Distance, FRD) 메트릭은 사전 학습된 ResNet의 특징을 비교하여 생성된 이미지의 정성적 품질을 평가하기 위해 제안된다.
• 프레임워크는 데이터 증강을 테스트 단계에서 적용하여 NTU 손동작 인식 및 Senz3D라는 두 개의 공개 데이터셋에서 엔드 투 엔드로 훈련된다.
• 생성기는 원본과 타겟 손동작 간 척도 및 거리의 차이가 크더라도 다양한 자세, 크기, 공간적 위치로 손동작을 변환하는 데 학습된다.

실험 결과

연구 질문

• RQ1 비구속 환경에서 임의의 자세, 크기, 위치 간 손동작 간 변환을 단일 GAN 모델이 효과적으로 수행할 수 있는가?
• RQ2 다중 채널 생성 모델에서 발생하는 채널 오염을 어떻게 완화할 수 있으며, 이를 통해 이미지의 선명함과 품질을 향상시킬 수 있는가?
• RQ3 생성된 손동작 이미지가 하류의 손동작 분류 모델의 성능 향상에 어느 정도 기여할 수 있는가?
• RQ4 크기와 간격이 다른 다양한 손동작 쌍 조합에 대해 모델의 안정성은 어떻게 유지되는가?
• RQ5 FRD와 같은 새로운 메트릭이 GAN으로 생성된 손동작 이미지의 정성적 품질을 신뢰성 있게 평가할 수 있는가?

주요 결과

• GestureGAN은 NTU 손동작 인식 및 Senz3D 벤치마크 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여 기존 방법보다 이미지 품질과 변환 정확도에서 뛰어난 성능을 보였다.
• NTU 손동작 인식 데이터셋에서, 데이터 증강을 적용한 GestureGAN은 정확도를 96.667%까지 향상시켰고, 증강 없이 사용할 경우 15.000%에 그쳤다.
• Senz3D 데이터셋에서는 증강 데이터를 사용할 경우 정확도가 99.747%에 도달하여 기준 모델의 34.343%를 크게 초월했다.
• 모델은 손동작 크기 및 간격의 변동성에 대해 강건성을 보이며, 다양한 입력 조건에서도 고화질의 생성 결과를 유지했다.
• 프레셰 리스넷 거리(Fréchet ResNet Distance, FRD) 메트릭은 정성적 이미지 품질과 잘 상관관계를 보였으며, 생성된 이미지가 사진처럼 생생하고 데이터 증강에 적합하다는 것을 입증했다.
• 색상 손실은 채널 오염을 효과적으로 줄여, PG 2 및 PoseGAN과 같은 기준 모델 대비 더 선명하고 현실적인 생성 이미지를 만들어냈다.