[논문 리뷰] Keyframing the Future: Keyframe Discovery for Visual Prediction and Planning

Karl Pertsch, Oleh Rybkin외 6명|arXiv (Cornell University)|2019. 04. 11.

Artificial Intelligence in Games참고 문헌 34인용 수 5

한 줄 요약

이 논문은 비디오 시퀀스에서 정보가 풍부한 关건 프레임을 탐지하고 인painting을 통해 전체 시퀀스를 복원하는 미분 가능한 계층적 모델인 KeyIn을 제안한다. 프레임 단위 예측의 비효율성을 해결하기 위해, KeyIn은 관찰된 동적 특성을 효과적으로 포착하는 시간적으로 희박한 관건 프레임을 탐지함으로써 장기 시퀀스 제어를 효율적으로 가능하게 하며, 로봇 밀기 및 자기 중심 그리드월드와 같은 복잡한 역학 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Temporal observations such as videos contain essential information about the dynamics of the underlying scene, but they are often interleaved with inessential, predictable details. One way of dealing with this problem is by focusing on the most informative moments in a sequence. We propose a model that learns to discover these important events and the times when they occur and uses them to represent the full sequence. We do so using a hierarchical Keyframe-Inpainter (KeyIn) model that first generates a video's keyframes and then inpaints the rest by generating the frames at the intervening times. We propose a fully differentiable formulation to efficiently learn this procedure. We show that KeyIn finds informative keyframes in several datasets with different dynamics and visual properties. KeyIn outperforms other recent hierarchical predictive models for planning. For more details, please see the project website at \url{https://sites.google.com/view/keyin}.

연구 동기 및 목표

• 비디오 예측을 프레임 단위로 수행할 경우 발생하는 비효율성을 해결하기 위해, 핵심 역학을 포착하는 시간적으로 희박한 정보성 관건 프레임을 식별하는 것.
• 관건 프레임을 하위 목표로 삼아 계층적 시각적 계획을 가능하게 하여 장기 시계열 제어 과제에서 계산 비용을 감소시키는 것.
• 관건 프레임 탐지와 시퀀스 복원을 동시에 최적화하는 완전히 미분 가능한 프레임워크를 개발하는 것.
• 로봇 조작과 같은 복잡한 시각적 역학에 대해 노이즈에 강건하고 일반화 능력을 확보하는 것.
• 장기 시계열 과제에서 기존의 계층적 및 비계층적 예측 모델보다 더 뛰어난 계획 성능을 보이는 것.

제안 방법

• KeyIn은 관건 프레임 인코더와 비디오 인페인팅 모듈로 구성된 계층적 아키텍처를 사용하여 선택된 관건 프레임에서 전체 시퀀스를 복원한다.
• 관건 프레임 선택을 위한 소프트 미분 가능한 목적 함수를 도입하여, 시간적 위치를 기반으로 한 기울기 기반 최적화를 가능하게 한다.
• 후보 프레임에 대한 미분 가능한 소프트 어텐션 메커니즘을 통해 관건 프레임 선택을 수식화함으로써 이산적 결정에 대한 기울기 흐름을 가능하게 한다.
• 인페인팅 헤드는 예측된 관건 프레임을 조건으로 하여 중간 프레임을 생성하며, 트랜스포머 기반 또는 컨볼루션 아키텍처를 사용한다.
• 복합적인 학습 목적 함수는 복원 손실(PSNR/SSIM)을 최소화하면서도 관건 프레임이 시간적으로 희박하면서도 정보성이 있도록 유도한다.
• 계층적 계획 알고리즘은 예측된 관건 프레임을 하위 목표로 삼아 장기 시계열 과제에서 저수준 제어기를 안내한다.

실험 결과

연구 질문

• RQ1 미분 가능한 모델이 비디오 시퀀스의 핵심 역학을 포착하는 시간적으로 희박하고 정보성 있는 관건 프레임을 탐지할 수 있는가?
• RQ2 관건 프레임 기반 예측이 단순한 프레임 단위 또는 고정 간격 예측보다 장기 시계열 시각적 계획 성능을 향상시키는가?
• RQ3 다양한 데이터셋 간 역학의 변동성과 노이즈에 대해 관건 프레임 탐지 성능이 얼마나 강건한가?
• RQ4 로봇 밀기 및 자기 중심 주행과 같은 복잡한 실제 세계 역학에 대해 모델이 일반화 가능한가?
• RQ5 KeyIn이 학습한 계층적 구조가 비계층적 기준 모델 대비 더 효율적이고 정확한 계획을 가능하게 하는가?

주요 결과

• KeyIn은 로봇 밀기 환경에서 장기 시계열 시각적 계획 과제에서 최신 기준 성능을 달성하며, 계층적 및 비계층적 기준 모델을 모두 능가한다.
• Pushing 데이터셋에서 KeyIn은 가우시안 노이즈 조건 하에서 F1 스코어 0.25를 기록했으며, 실제 관건 프레임과의 거리가 평균 1.34 프레임 이내로 매우 높은 정확도를 보였다.
• Gridworld 데이터셋에서는 노이즈 조건 하에서도 F1 스코어 0.43를 유지했으며, 실제 관건 프레임과의 정렬 오차가 평균 0.96 프레임 이내였다.
• KeyIn은 비디오 예측 지표에서 기존 모델과 유사하거나 뛰어난 성능을 보였다: Pushing 데이터셋에서 PSNR 33.4, SSIM 0.959를 기록했다.
• 일정 간격 방법 대비 관건 프레임 품질이 뚜렷이 향상되었다: Pushing 데이터셋에서 KeyIn은 PSNR 29.5, SSIM 0.911을 기록했고, 비교 기준은 각각 PSNR 28.25, SSIM 0.904였다.
• 정성적 결과에서는 KeyIn이 운동 방향 전환을 정확히 식별하고 복잡한 역학을 재구성하는 데 성공했으며, 일정 간격 방법은 이러한 전이를 포착하지 못했다.