[논문 리뷰] Learning to Take Directions One Step at a Time

Qiyang Hu, Adrian Wälchli외 3명|arXiv (Cornell University)|2018. 12. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 6

한 줄 요약

이 논문은 단일 이미지를 움직임 스토커(움직임 방향 제어 신호)의 시퀀스를 사용해 애니메이션화하는 새로운 순환 동영상 생성 프레임워크를 제안한다. 자동에코딩된 상태 표현과 절단된 역전파 학습 기법을 활용함으로써, 모델은 프레임의 열화 없이 장기간에 걸쳐 시간적으로 일관되고 현실적인 동영상 시퀀스를 생성하며, MNIST, KTH, Human3.6M, Push, Weizmann 데이터셋에서 정성적 및 정량적 평가에서 이전 방법들을 능가한다.

ABSTRACT

We present a method to generate a video sequence given a single image. Because items in an image can be animated in arbitrarily many different ways, we introduce as control signal a sequence of motion strokes. Such control signal can be automatically transferred from other videos, e.g., via bounding box tracking. Each motion stroke provides the direction to the moving object in the input image and we aim to train a network to generate an animation following a sequence of such directions. To address this task we design a novel recurrent architecture, which can be trained easily and effectively thanks to an explicit separation of past, future and current states. As we demonstrate in the experiments, our proposed architecture is capable of generating an arbitrary number of frames from a single image and a sequence of motion strokes. Key components of our architecture are an autoencoding constraint to ensure consistency with the past and a generative adversarial scheme to ensure that images look realistic and are temporally smooth. We demonstrate the effectiveness of our approach on the MNIST, KTH, Human3.6M, Push and Weizmann datasets.

연구 동기 및 목표

• 단일 정적 이미지에서 움직임 스토커 시퀀스를 제어 신호로 사용해 제어 가능한 동영상 생성을 가능하게 하기.
• 장기적인 동영상 생성 과제를 해결하여 시간적으로 일관성 있고 시각적으로 현실적인 결과를 도출하고, 시간이 지남에 따라 프레임의 열화를 방지하기.
• 전체 BPTT가 필요 없이 단일 스텝의 절단된 역전파를 통해 효율적인 학습을 가능하게 하는 순환 아키텍처 설계하기.
• 고체적이고 비고체적인 운동을 포함한 다양한 데이터셋에 대해 일반화 성능 확보하기.
• 다수의 입력 프레임을 사용하는 모델들과 비교해도 높은 인지적 품질과 자연스러운 운동 구현을 달성하기, 비록 단일 이미지만을 사용함에도 불구하고.

제안 방법

• 입력 상태에 초기 이미지의 인코딩, 현재 프레임, 전체 운동 경로, 다음 운동 단계가 포함된 새로운 RNN 아키텍처를 사용한다.
• 자기에코더 구성요소가 각 프레임의 잠재 표현을 명시적으로 모델링하여 상태 공간을 제약하고 과거 프레임과의 일관성을 보장한다.
• 현재 상태를 기반으로 다음 프레임의 잠재 코드를 예측함으로써 오류 누적이 없는 장기적인 동영상 생성을 가능하게 한다.
• 재구성 손실을 통해 생성된 프레임을 진짜 레이블과 일치시키고, 적대적 손실과 인지적 손실을 결합하여 현실성과 시간적 매끄러움을 향상시킨다.
• 움직임 스토커는 경계 상자 추적을 통해 원본 동영상에서 추출되며, 이로써 운동 제어 신호의 자동 전이가 가능해진다.
• 아키텍처는 단일 스텝의 절단된 역전파를 통해 시간을 거슬러 올라가는 학습을 지원하여 효율적이고 안정적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 단일 이미지와 움직임 스토커 시퀀스만을 사용해 장기간에 걸쳐 현실적인 동영상 시퀀스를 생성할 수 있는가?
• RQ2 어떻게 순환 네트워크는 열화 없이 장기간의 동영상 생성 동안 시간적 일관성과 시각적 품질을 유지할 수 있는가?
• RQ3 자동에코딩된 상태를 갖춘 새로운 RNN 아키텍처는 절단된 역전파를 통해 효율적인 학습을 가능하게 하면서도 운동의 자연스러움을 유지할 수 있는가?
• RQ4 다수의 입력 프레임이나 덜 제어 가능한 입력을 요구하는 최신 기법들과 비교해 모델의 성능은 어떠한가?
• RQ5 모델은 분포 외의 운동 경로에 얼마나 잘 일반화되는가? 다양한 운동 유형을 포함한 데이터셋에서의 처리 능력은 어떠한가?

주요 결과

• KTH 데이터셋에서 모델은 상태의 인지적 품질에서 최고 성능을 기록하였으며, LPIPS 점수는 0.09로, Li 등(0.14)과 Denton 등(0.11)을 능가하였다.
• 자세 부드러움 평가에서, 걷기 외 모든 운동 유형에서 관절 이동의 평균 및 표준편차가 가장 낮았으며, 걷기의 경우 각각 7.2%와 7.7%였다.
• KTH 시퀀스에서 객체 탐지 정확도는 87.1%를 기록하여, Li 등(54.9%)과 Denton 등(54.2%)보다 유의미하게 높았으며, 더 나은 이미지 품질과 운동 자연스러움을 시사하였다.
• 정성적 결과에서 경쟁 기법들보다 더 선명하고 현실적인 프레임을 생성하였으며, 10개의 입력 프레임을 사용하는 모델들과 비교해도 유사한 성능를 보였다. 비록 단일 이미지만을 사용함에도 불구하고.
• 모델은 MNIST, KTH, Human3.6M, Push, Weizmann 등 다양한 데이터셋에 대해 잘 일반화되어 있으며, 고체적이고 비고체적 운동 모두에 대해 현실적인 애니메이션을 생성하였다.
• 모델은 임의의 길이의 출력을 갖는 제어 가능한 동영상 합성 기능을 성공적으로 제공하였으며, 장기적인 동영상 시퀀스 생성에서 뛰어난 강건성과 확장성을 입증하였다.