[논문 리뷰] Generative Models for Pose Transfer

Patrick Chao, Alexander Li외 1명|arXiv (Cornell University)|2018. 06. 24.

Human Pose and Action Recognition참고 문헌 2인용 수 3

한 줄 요약

이 논문은 영상에서 한 사람의 동작을 다른 사람에게 전이하기 위해 k-Nearest Neighbors (k-NN)와 조건부 생성 모델(pix2pix)을 사용하는 자세 전이 파이프라인을 제안한다. pix2pix 모델은 날카럽고 부드럽고 잡음이 없는 영상을 생성하는 데서 k-NN를 능가하며, 훈련 데이터의 자세 분포를 초월한 일반화 능력을 보여준다.

ABSTRACT

We investigate nearest neighbor and generative models for transferring pose between persons. We take in a video of one person performing a sequence of actions and attempt to generate a video of another person performing the same actions. Our generative model (pix2pix) outperforms k-NN at both generating corresponding frames and generalizing outside the demonstrated action set. Our most salient contribution is determining a pipeline (pose detection, face detection, k-NN based pairing) that is effective at perform-ing the desired task. We also detail several iterative improvements and failure modes.

연구 동기 및 목표

• 영상 형태로 한 사람의 자세 시퀀스를 다른 사람에게 전이하기 위한 견고한 파이프라인 개발
• k-NN와 조건부 GAN(pix2pix)의 성능 평가를 통해 고품질이고 시간적으로 일관된 영상 프레임 생성
• 노이즈가 있는 자세 추정 및 특정 몸체 윤곽에 대한 과적합과 같은 실패 모드 식별 및 완화
• 훈련 데이터에 존재하지 않는 자세에 대한 일반화 능력을 향상시키기 위한 방법 탐색
• 계산 지연을 줄이고 실시간 또는 실시간에 가까운 자세 전이를 가능하게 하기 위한 최적화

제안 방법

• 입력 영상 프레임에서 18개 관절의 2D 자세 스켈레톤을 추출하기 위해 OpenPose를 사용하였으며, 가림된 관절에는 중앙값 보간을 적용하였다.
• 소스 및 타겟 개인 간 자세를 매칭하기 위해 관절 좌표 공간에서 L2 거리 기반 k-NN를 적용하였다.
• 조건부 GAN(pix2pix)을 사용하여 자세 스켈레톤을 직접 현실적인 이미지 프레임으로 매핑하였으며, 중간 표현을 생략하였다.
• 초기에는 엣지 검출을 감독 신호로 포함하였으나, 과적합 및 일반화 능력 저하로 인해 최종 파이프라인에서 제거하였다.
• 자세 스켈레톤에 얼굴 윤곽을 보완하기 위해 dlib 얼굴 검출기를 사용하여 얼굴 생성 품질을 향상시켰다.
• 프레임 단위 생성을 통한 시간적 일관성 확보를 탐색하였으며, 향후 칼만 필터나 압축 모델의 활용 가능성을 고려했다.

실험 결과

연구 질문

• RQ1 k-NN 기반 자세 매칭은 다양한 신체 구조와 의복을 가진 개인 간에 동작을 효과적으로 전이할 수 있는가?
• RQ2 조건부 GAN(pix2pix)의 성능은 k-NN에 비해 날카롭고 현실적이며 잡음이 없는 영상 프레임 생성에서 어떻게 다른가?
• RQ3 생성 모델은 훈련 중에 볼 수 없었던 자세에 얼마나 잘 일반화되는가?
• RQ4 노이즈가 있는 자세 추정은 k-NN와 GAN 기반 자세 전이 성능에 어떤 영향을 미치는가?
• RQ5 위치 공간 대비 관절 각도 공간을 사용하면 키가 다른 개인 간의 k-NN 매칭 정확도가 향상되는가?

주요 결과

• pix2pix 조건부 GAN은 잡음이 적고 부드럽고 현실적인 영상 프레임을 생성하는 데서 k-NN를 능가하였다.
• pix2pix 모델은 훈련 데이터에 존재하지 않는 자세, 예를 들어 양손을 머리 위로 올리는 자세 등에도 성공적으로 일반화하였다.
• k-NN 성능은 노이즈가 많은 자세 스켈레톤으로 인해 심각하게 저하되어 뛰는 전환과 낮은 프레임 매칭 정확도를 보였다.
• 초기에는 감독 신호로 엣지 검출을 도입하였지만, 과적합을 유발하고 일반화 능력을 떨어뜨려 최종 파이프라인에서 제거되었다.
• 위치 공간 대신 관절 각도 공간을 사용하면 키나 신체적 특성이 다른 개인 간의 k-NN 매칭 정확도가 향상될 수 있다.
• 현재 파이프라인은 프레임당 약 1초의 시간이 소요되어 실시간(60 FPS)에는 훨씬 못 미치며, 최적화가 필요하다.