[논문 리뷰] Disentangling Propagation and Generation for Video Prediction

Hang Gao, Huazhe Xu외 4명|arXiv (Cornell University)|2018. 12. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 11

한 줄 요약

이 논문은 KITTI Flow 및 CalTech Pedestrian 데이터셋에서 시각적 현실감과 선명도 측면에서 최신 기준을 달성하는, 운동 기반 광학 흐름 워핑과 운동 무관 이미지 보정을 분리하는 DPG(분리된 전파 및 생성)라는 비디오 예측 모델을 제안한다. 이는 워핑 이후에 오염 마스크를 계산하고, 비정상 영역을 위한 전용 보정기(Inpainter)를 사용함으로써, 특히 SSIM 및 LPIPS 지표에서 뚜렷한 향상을 이룬다.

ABSTRACT

A dynamic scene has two types of elements: those that move fluidly and can be predicted from previous frames, and those which are disoccluded (exposed) and cannot be extrapolated. Prior approaches to video prediction typically learn either to warp or to hallucinate future pixels, but not both. In this paper, we describe a computational model for high-fidelity video prediction which disentangles motion-specific propagation from motion-agnostic generation. We introduce a confidence-aware warping operator which gates the output of pixel predictions from a flow predictor for non-occluded regions and from a context encoder for occluded regions. Moreover, in contrast to prior works where confidence is jointly learned with flow and appearance using a single network, we compute confidence after a warping step, and employ a separate network to inpaint exposed regions. Empirical results on both synthetic and real datasets show that our disentangling approach provides better occlusion maps and produces both sharper and more realistic predictions compared to strong baselines.

연구 동기 및 목표

• 복잡한 오염과 큰 운동을 수반하는 역동적 장면에서 정확한 비디오 예측을 해결하기 위해.
• 이전 방법들이 무분별하게 픽셀을 워핑하거나 처음부터 생성함으로써, 비정상 영역에서 유령 효과나 비현실적인 결과를 유도하는 한계를 극복하기 위해.
• 운동 특화 전파와 운동 무관 생성을 명시적으로 분리함으로써 비디오 예측의 정밀도를 향상시키기 위해.
• 워핑 이후에 신뢰도 기반 오염 지ap을 계산하고, 이를 통해 비정상 영역의 선택적 보정을 안내하는 신뢰도 인식형 후처리 오염 지도를 개발하기 위해.
• 특히 큰 운동과 오염을 다루는 데서 뛰어난 성능을 보여주기 위해, 합성 및 실제 세계 벤치마크에서 초우수한 성능을 입증하기 위해.

제안 방법

• 모델은 입력 프레임에서 목표 미래 프레임까지 광학 흐름을 외삽하기 위해 흐름 예측기(Flow Predictor)를 사용한다.
• 신뢰도 기반 워핑 연산자(Confidence-aware Warping Operator)는 예측된 흐름을 사용해 마지막 입력 프레임의 픽셀을 전파하며, 흐름 신뢰도에 기반해 신뢰도를 계산한다.
• 워핑 이후에 희소 오염 지도(Sparse Occlusion Map)를 생성하여, 낮은 신뢰도 영역(비정상 또는 모호한 영역)을 식별한다.
• 별도의 컨텍스트 인코더(Inpainter)가 오염 지도를 마스크로 사용하여 비정상 영역의 현실적인 픽셀을 생성한다.
• 최종 예측 결과는 오염 지도를 게이팅 메커니즘으로 사용하여 고신뢰도 영역의 워핑된 픽셀과 저신뢰도 영역의 보정된 픽셀을 융합함으로써 생성된다.
• 학습 시에는 보정 영역의 재구성 품질을 강조하기 위해 가중치가 부여된 손실 함수를 사용하며, 이때 마스크링 가중치 β는 학습 가능한 값이다.

실험 결과

연구 질문

• RQ1 운동 전파와 이미지 생성을 분리하면 비디오 예측 품질이 향상되는가?
• RQ2 종합적인 모델에서의 공동 학습 대비, 워핑 이후의 신뢰도 추정이 더 나은 오염 감지 성능을 보이는가?
• RQ3 비정상 영역을 위한 별도의 보정기가 복합 장면에서 융합 기반 또는 오토인코더 기반 보정보다 우수한 성능을 내는가?
• RQ4 계산된 오염 지도의 품질이 진짜 지도 및 학습된 지도와 비교해 IoU 및 후속 성능 측면에서 어떻게 되는가?
• RQ5 예측 정밀도를 극대화하기 위해 학습 시 오염 영역의 손실 가중치를 어떻게 설정하는 것이 최적인가?

주요 결과

• KITTI Flow 데이터셋에서 제안된 방법은 PSNR 22.3, SSIM 0.696, LPIPS 0.114를 기록하여 모든 기준 모델을 압도한다.
• 다중 프레임 예측에서 시간이 지남에 따라 일관된 성능 향상이 나타나며, DVF와 달리 8개의 예측 프레임 동안 PSNR가 안정적으로 유지된다.
• 제거 분석 결과, 계산된 오염 지도(IoU = 24.91, RoamingImages 기준)를 사용할 경우 학습된 오염 지도(IoU = 0.0411)보다 오염 감지 및 후속 예측 품질 측면에서 뚜렷한 우월성을 보인다.
• 마스크링 가중치 β에 대한 분석 결과, 오염 영역에 더 높은 손실 가중치(β = 10)를 할당할 경우 최고의 성능(PSNR: 22.3, SSIM: 0.696, LPIPS: 0.114)를 기록하며, 오직 오염 영역만 마스킹하는 경우(β = ∞)는 성능이 급격히 떨어진다.
• CalTech Pedestrian 및 KITTI Flow 데이터셋 양쪽에서 최신 기준 성능을 달성하였으며, 특히 큰 운동과 비정상 영역 처리에서 시각적 현실감과 선명도 측면에서 뚜렷한 향상을 보였다.
• 신뢰도 기반 오염 지도가 일반화 능력과 강건성을 향상시켜, 진짜 오염 지도 지도 없이도 일관된 성능 향상이 관찰되었다.