[논문 리뷰] Unsupervised Learning of Object Structure and Dynamics from Videos

Matthias Minderer, Chen Sun외 4명|arXiv (Cornell University)|2019. 06. 19.

Human Pose and Action Recognition참고 문헌 39인용 수 19

한 줄 요약

이 논문은 키포인트 기반 표현을 사용하여 객체 구조와 역학을 동시에 학습하는 새로운 비지도 비디오 생성 프레임워크를 제안한다. 희소성 및 분리 손실을 도입함으로써 모델은 안정적이고 분리된 키포인트 검출 및 고해상도 비디오 예측을 달성하여 기준 모델 대비 FVD와 추적 정확도를 크게 향상시킨다.

ABSTRACT

Extracting and predicting object structure and dynamics from videos without supervision is a major challenge in machine learning. To address this challenge, we adopt a keypoint-based image representation and learn a stochastic dynamics model of the keypoints. Future frames are reconstructed from the keypoints and a reference frame. By modeling dynamics in the keypoint coordinate space, we achieve stable learning and avoid compounding of errors in pixel space. Our method improves upon unstructured representations both for pixel-level video prediction and for downstream tasks requiring object-level understanding of motion dynamics. We evaluate our model on diverse datasets: a multi-agent sports dataset, the Human3.6M dataset, and datasets based on continuous control tasks from the DeepMind Control Suite. The spatially structured representation outperforms unstructured representations on a range of motion-related tasks such as object tracking, action recognition and reward prediction.

연구 동기 및 목표

• 지도 학습 없이도 분리되고 공간적으로 의미 있는 객체 구조와 역학을 비디오에서 학습하는 것.
• 비지도 학습 중 키포인트 검출의 불안정성과 붕괴 문제를 해결하는 것.
• 생성된 시퀀스에서 다양성과 시간 일관성을 장려함으로써 비디오 예측 품질을 향상시키는 것.
• 정답 애너테이션 없이도 견고한 키포인트 추적 및 후속 작업 성능을 보장하는 것.
• 구조적 잠재 표현이 복잡한 비디오 역학을 모델링하는 데 필수적임을 입증하는 것

제안 방법

• 비디오 프레임에서 공간적으로 구조화되고 희소한 2차원 좌표를 추출하기 위해 키포인트 검출기를 사용한다.
• 변분 순환 네트워크를 사용하여 검출된 키포인트의 시간 역학을 CNN-VRNN으로 모델링한다.
• 프레임당 몇 개의 키포인트만 활성화되도록 유도하기 위해 희소성 손실 $\mathcal{L}_{\text{sparse}}$ 를 도입한다.
• 작은 공간적 가우시안 반경을 가진 분리 손실 $\mathcal{L}_{\text{sep}}$ 를 적용하여 키포인트 붕괴를 방지한다.
• 비구조적 잠재 코드를 방지하기 위해 키포인트 검출기와 역학 모델을 별도로 훈련시킨다.
• 표본 품질과 다양성을 평가하기 위해 VGG 기반의 인지 유사도와 Fréchet Video Distance (FVD) 를 사용한다.

실험 결과

연구 질문

• RQ1 비지도 비디오 모델은 지도 학습 없이도 분리되고 공간적으로 의미 있는 객체 표현을 학습할 수 있는가?
• RQ2 $\mathcal{L}_{\text{sparse}}$ 와 $\mathcal{L}_{\text{sep}}$ 는 모델의 안정성과 성능을 어떻게 향상시키는가?
• RQ3 모델은 얼마나 다양한, 타당한 비디오 미래를 생성하는가?
• RQ4 왜 키포인트 검출기와 역학 모델의 별도 훈련이 공동 훈련보다 우수한가?
• RQ5 모델은 초기화 및 객체 외관 변화에 얼마나 강인한가?

주요 결과

• $\mathcal{L}_{\text{sparse}}$ 와 $\mathcal{L}_{\text{sep}}$ 를 추가함으로써 FVD와 키포인트 추적 정확도 모두가 크게 향상된다.
• VRNN은 명시적 일관성 강제 없이도 키포인트의 '점프' 현상을 부분적으로 완화하여 시간적 스무딩 효과를 보였다.
• 낮은 VGG 코사인 유사도를 보이는 샘플들에서도 강력한 다양성과 현실성으로 높은 시각적 품질을 달성했다.
• FVD 점수는 이전 방법보다 더 다양하고 타당한 비디오 미래를 생성함을 보여주었다.
• 실패 요인으로는 빠르게 움직이는 객체(예: 농구공)의 추적 실패와 외관에 민감한 반응(예: 밝은 색상의 선수)이 나타나 검출기의 강인성에 한계가 있음을 시사했다.
• 키포인트 검출기와 역학 모델을 별도로 훈련시음으로써 비구조적 잠재 코드로의 붕괴를 방지하고, 구조적 역학의 안정적 학습을 가능하게 하였다.