[논문 리뷰] Unsupervised Keypoint Learning for Guiding Class-Conditional Video Prediction

Yunji Kim, Seonghyeon Nam외 2명|arXiv (Cornell University)|2019. 10. 04.

Human Pose and Action Recognition인용 수 30

한 줄 요약

이 논문은 단일 이미지와 동작 클래스로부터 클래스 조건부 영상 예측을 위한 비지도 키포인트 학습 방법을 제안한다. 여기서 운동은 단일 이미지와 동작 클래스로부터 예측된 키포인트의 시퀀스로 모델링되며, 향후 프레임 생성을 위한 이미지 변환을 안내하는 데 사용된다. 이 방법은 학습 중에 예측된 키포인트를 의사 레이블로 사용하여 인간이 레이블링한 키포인트 데이터가 전혀 필요 없이도 최신 기술 수준의 시각적 품질을 달성한다.

ABSTRACT

We propose a deep video prediction model conditioned on a single image and an action class. To generate future frames, we first detect keypoints of a moving object and predict future motion as a sequence of keypoints. The input image is then translated following the predicted keypoints sequence to compose future frames. Detecting the keypoints is central to our algorithm, and our method is trained to detect the keypoints of arbitrary objects in an unsupervised manner. Moreover, the detected keypoints of the original videos are used as pseudo-labels to learn the motion of objects. Experimental results show that our method is successfully applied to various datasets without the cost of labeling keypoints in videos. The detected keypoints are similar to human-annotated labels, and prediction results are more realistic compared to the previous methods.

연구 동기 및 목표

• 비구조적이고 다양한 시나리오에서 단일 이미지와 동작 클래스로부터 현실적인 미래 영상 프레임을 생성하는 데 도전하는 것.
• 흐립니다 또는 새로운 시나리오에서 실패하는 블랙박스 영상 예측 모델의 한계를 극복하는 것.
• 비용이 많이 드는 인간이 레이블링한 키포인트 레이블이 필요 없도록 비지도 방식으로 키포인트 검출기를 훈련시키는 것.
• 키포인트를 통한 운동 분리와 이미지 변환을 통한 콘텐츠 분리로 영상 예측 품질을 향상시키고, 시간적 일致성과 현실감을 높이는 것.

제안 방법

• 실제 영상 시퀀스에서 예측된 키포인트를 의사 레이블로 사용하여 비지도 방식으로 키포인트 검출기를 훈련함으로써 인간의 레이블 없이도 개체 특화 키포인트를 탐지할 수 있도록 한다.
• 검출된 키포인트의 운동을 시퀀스로 모델링하고, 이를 시간 단계에 따라 미래의 개체 자세를 예측하는 데 사용한다.
• 키포인트 가중 이미지 변환 네트워크는 예측된 키포인트 시퀀스에 따라 입력 이미지를 변환하여 배경 맥락을 유지하면서도 전경 개체를 변형함으로써 미래의 프레임을 생성한다.
• 모델링의 복잡성을 줄이고 변환 품질을 향상시키기 위해 배경 마스크 생성 모듈을 통합함으로써 움직이는 객체에 집중하는 합성 작업을 수행한다.
• 키포인트 검출기와 운동 생성기 모두를 공동 최적화하면서 적대적 손실과 재구성 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 모델은 입력 이미지와 동작 클래스 양쪽에 조건을 두어 다양한 현실적인 미래 영상 시퀀스를 클래스 조건부로 생성할 수 있다.

실험 결과

연구 질문

• RQ1 비지도 키포인트 검출이 인간이 레이블링한 키포인트 레이블이 없이도 클래스 조건부 영상 예측의 현실감과 다양성을 향상시킬 수 있는가?
• RQ2 픽셀 수준의 엔드 투 엔드 영상 생성과 비교했을 때 키포인트의 시퀀스로 운동을 모델링하는 것이 시각적 품질과 일반화 능력 측면에서 어떻게 다른가?
• RQ3 기준 키포인트와 타겟 키포인트 사이의 유사성 관계를 통합할 경우 키포인트 검출 및 이미지 변환 성능에 어느 정도 향상되는가?
• RQ4 배경 마스크 생성 모듈이 시나리오 모델링의 복잡성을 줄여 번역된 프레임의 품질을 향상시킬 수 있는가?
• RQ5 입력 이미지에 유사 크기의 다수의 객체 또는 모호한 객체 방향이 존재할 경우 이 방법의 성능은 얼마나 견고한가?

주요 결과

• Mechanical Turk 연구에서 제안된 방법은 인간 레이블이 전혀 없는 상태에서 훈련되었음에도 불구하고 모든 베이스라인보다 높은 사용자 순위를 기록했으며, 시각적 품질과 운동의 타당성 측면에서 뛰어난 성능을 보였다.
• Penn Action 및 UCF-101 데이터셋에서 최신 기술 수준의 성능을 달성하여 다양한 동작 클래스에 걸쳐 현실적이고 다양한 미래 프레임을 생성했다.
• 성분 분석 결과, 기준 키포인트와 배경 마스크 생성 모듈을 통합함으로써 키포인트 검출 정확도와 이미지 변환 품질 양측 모두에서 뚜렷한 향상이 있었다.
• 재훈련이나 파라미터 조정 없이도 다양한 데이터셋으로 일반화가 성공적으로 이루어져, 새로운 시나리오와 동작에 대해 강력한 제로샷 적용 가능성을 입증했다.
• 실패 사례는 주로 유사 크기의 다수의 객체에서 키포인트 검출기의 오류 또는 방향에 민감하지 않은 검출로 인해 역전운동이 발생함으로써 발생했으며, 이는 복잡하거나 모호한 시나리오에서의 한계를 시사한다.