[논문 리뷰] Video Interpolation and Prediction with Unsupervised Landmarks

Kevin J. Shih, Ayşegül Dündar외 4명|arXiv (Cornell University)|2019. 09. 06.

Advanced Vision and Imaging참고 문헌 41인용 수 6

한 줄 요약

이 논문은 장기간 운동 동역학을 모델링하기 위해 2차원 가우시안 기반 지표점 표현을 사용하는 비지도 비디오 보간 및 예측 프레임워크를 제안한다. 이미지를 해석 가능한 자세(지표점) 및 외관 코드로 분해하고, 가우시안 파ameter 공간에서 시간적 변화를 예측함으로써, 지도 학습이나 关键점 애너테이션 없이도 100帧 이상의 고해상도, 구조를 유지하는 보간 및 외삽을 달성한다.

ABSTRACT

Prediction and interpolation for long-range video data involves the complex task of modeling motion trajectories for each visible object, occlusions and dis-occlusions, as well as appearance changes due to viewpoint and lighting. Optical flow based techniques generalize but are suitable only for short temporal ranges. Many methods opt to project the video frames to a low dimensional latent space, achieving long-range predictions. However, these latent representations are often non-interpretable, and therefore difficult to manipulate. This work poses video prediction and interpolation as unsupervised latent structure inference followed by a temporal prediction in this latent space. The latent representations capture foreground semantics without explicit supervision such as keypoints or poses. Further, as each landmark can be mapped to a coordinate indicating where a semantic part is positioned, we can reliably interpolate within the coordinate domain to achieve predictable motion interpolation. Given an image decoder capable of mapping these landmarks back to the image domain, we are able to achieve high-quality long-range video interpolation and extrapolation by operating on the landmark representation space.

연구 동기 및 목표

• 장기간 비디오 예측 및 보간에 대해 안정적이고 해석 가능하며 분리된 운동 표현을 제공하는 데 도전한다.
• 이미지 복원을 통한 일관된 비지도 지표점 학습을 통해 지도 학습 기반의 关键점 애너테이션 의존도를 제거한다.
• 복원 과정에서 유효하고 단일 모드의 히트맵을 보장하는 제약된 가우시안 자세 공간에서 작동함으로써 신뢰할 수 있는 보간 및 외삽을 가능하게 한다.
• 구조화되고 분해된 잠재 공간에서 시간적 동역학을 모델링하여 장기간 비디오 생성의 일반화 및 안정성을 향상시킨다.
• 비지도 지표점 학습이 명시적인 운동 경로 제어 기능을 갖춘 고품질 비디오 합성에 기여할 수 있음을 입증한다.

제안 방법

• 이미지 인코더와 디코더를 공동으로 사용하여 입력 이미지를 자세 및 외관 표현으로 분해하며, 자세 코드는 2차원 가우시안 히트맵으로 표현된다.
• 이미지 변환에 걸쳐 일관된 활성화를 강제하는 복원 손실을 통해 비지도 지표점 학습을 달성함으로써 공간 불변성을 확보한다.
• 각 지표점의 자세는 (μ, Σ) 파ameter를 가진 2차원 가우시안으로 모델링되며, 분산 행렬은 콜레츠키 분해를 통해 잠재 공간에서 정의된 양의 정부호성을 보장한다.
• 시간적 동역학 모듈은 LSTM으로 구현되어 자세 공간 내 향후 가우시안 파ameter (μ, Σ)를 예측함으로써 장기간 시퀀스 모델링을 가능하게 한다.
• 이미지 디코더는 예측된 가우시안 자세 코드와 학습된 외관 코드를 조합하여 지표점 위치에 조건화된 미래 프레임을 복원한다.
• 모델은 지도 학습 기반의 关键점 감독이나 명시적인 운동 레이블이 필요 없이 복원 손실을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 비지도 지표점 학습이 장기간 비디오 예측에 적합한 안정적이고 해석 가능하며 분리된 자세 표현을 생성할 수 있는가?
• RQ2 가우시안 파ameter 공간(μ, Σ)에서 시간적 동역학을 모델링함으로써 모드 붕괴나 유효하지 않은 히트맵 없이 유효하고 부드러운 보간을 보장할 수 있는가?
• RQ3 오직 경계 상자 애너테이션만 제공되는 자기지도 모델이 장기간 비디오 보간 및 외삽에 얼마나 잘 일반화되는가?
• RQ4 어느 정도의 요소로 분해된 자세-외관 표현이 100프레임 이상의 장기간에 걸쳐 구조적 일致성과 운동 일致성을 유지하는가?
• RQ5 잠재 공간에서 모델을 명시적으로 조작하여 예측 가능하고 제어 가능한 운동 경로를 생성할 수 있는가?

주요 결과

• 모델은 이질적인 움직임을 보이는 전경 객체의 구조적 일관성을 유지하면서 100프레임 이상의 고품질 비디오 보간 및 외삽을 달성한다.
• 자세 공간에서 2차원 가우시안 지표점을 사용함으로써, μ 및 Σ의 변형이 복원 과정에서 유효하고 단일 모드의 히트맵을 생성함으로써 안정적이고 예측 가능한 운동 보간이 가능해진다.
• 지속적인 이미지 복원 및 약한 객체 수준의 경계 상자만을 기반으로 하여 지도 학습 기반의 关键점 애너테이션 없이도 장기간 예측에 잘 일반화된다.
• 비분해된 잠재 표현에 비해 모델은 더 높은 강건성과 해석 가능성을 보이며, 구조적 결함이 없이 장기간에 걸쳐 안정적으로 유지된다.
• 외관 일반화의 한계가 존재하지만, 프레임 간 전경 객체의 구조와 운동 일관성이 장기간에 걸쳐 잘 유지된다.
• 가우시안 파ameter에 기반한 LSTM 기반 시간적 동역학 모듈은 안정적인 장기 행동을 보이며, 약 ~100프레임 이후 성능 저하가 시작된다.