[논문 리뷰] PastNet: Introducing Physical Inductive Biases for Spatio-temporal Video Prediction

Hao Wu, Fan Xu외 4명|arXiv (Cornell University)|2023. 05. 19.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

PastNet는 시공간 영상 예측에 물리적 인덕티브 바이어스를 통합하기 위해 푸리에 도메인에서 스펙트럴 컨볼루션을 활용하여 잠재적인 물리 법칙을 인코딩한다. 동시에 내재 차원성 추정 기반 메모리 백업을 통해 계산 비용을 감소시킨다. 이는 고해상도 영상에서 특히 뛰어난 예측 품질과 훈련 효율성을 달성하며, MovingMNIST에서 100 에포크 훈련에 단 4.16시간이 소요되어 최신 기준 성능을 확보한다. 기존 방법 대비 더 낮은 MSE, SSIM, PSNR 점수를 기록한다.

ABSTRACT

In this paper, we investigate the challenge of spatio-temporal video prediction task, which involves generating future video frames based on historical spatio-temporal observation streams. Existing approaches typically utilize external information such as semantic maps to improve video prediction accuracy, which often neglect the inherent physical knowledge embedded within videos. Worse still, their high computational costs could impede their applications for high-resolution videos. To address these constraints, we introduce a novel framework called \underline{P}hysics-\underline{a}ssisted \underline{S}patio-\underline{t}emporal \underline{Net}work (PastNet) for high-quality video prediction. The core of PastNet lies in incorporating a spectral convolution operator in the Fourier domain, which efficiently introduces inductive biases from the underlying physical laws. Additionally, we employ a memory bank with the estimated intrinsic dimensionality to discretize local features during the processing of complex spatio-temporal signals, thereby reducing computational costs and facilitating efficient high-resolution video prediction. Extensive experiments on various widely-used spatio-temporal video benchmarks demonstrate the effectiveness and efficiency of the proposed PastNet compared with a range of state-of-the-art methods, particularly in high-resolution scenarios.

연구 동기 및 목표

• 기존 영상 예측 모델이 시공간 역학을 지배하는 잠재적 물리 법칙을 간과하는 한계를 해결하기 위해.
• 정확도를 희생시키지 않고 고해상도 영상 예측의 계산 복잡도를 감소시키기 위해.
• 외부 입력(예: 세분적 맵 또는 옵티컬 플로우)에 의존하지 않고 영상 데이터 자체에서 직접 물리적 인덕티브 바이어스를 통합하기 위해.
• 푸리에 도메인에서 학습 가능한 스펙트럴 컨볼루션 기반 메커니즘을 활용해 효율적이고 확장 가능하며 고품질의 영상 예측을 가능하게 하기 위해.
• Navier-Stokes 방정식 및 얕은 수면 방정식과 같은 복잡한 편미분방정식(PDE)을 영상 예측 환경에서 해결할 수 있는 능력을 입증하기 위해.

제안 방법

• 자신의 데이터에서 유도된 물리적 인덕티브 바이어스를 통합하기 위해 푸리에 도메인에서 스펙트럴 컨볼루션 연산자를 도입한다.
• 스펙트럴 컨볼루션 이후 역푸리에 변환을 적용하여 공간 도메인에서 출력 프레임을 재구성한다.
• 내재 차원성 추정을 수행하고 국소 특징을 디지털화하기 위해 메모리 백업을 사용하는 이산 시공간 모듈을 적용하여 계산 부담을 감소시킨다.
• 다양한 데이터셋에 걸쳐 특징 표현력과 적응성을 향상시키기 위해 학습 가능한 특징 투영 게이트(FPG) 모듈을 활용한다.
• 로컬 특징을 압축된 학습된 표현으로 대체함으로써 효율성을 향상시키기 위해 메모리 백업 메커니즘을 통합한다.
• 외부 감독 신호나 보조 신호가 필요 없이 표준 영상 예측 손실 함수를 사용해 엔드 투 엔드로 훈련한다.

Figure 1. Performance comparison of different video prediction methods on MovingMNIST. Our PastNet outperforms previous models in terms of training time and image quality. Specifically, the PastNet achieves the lowest MSE and highest MS-SSIM scores when trained for 100 epochs, and its training time

실험 결과

연구 질문

• RQ1 푸리에 도메인에서의 스펙트럴 컨볼루션은 원시 영상 데이터로부터 물리적 인덕티브 바이어스를 효과적으로 인코딩할 수 있는가?
• RQ2 내재 차원성 추정과 메모리 백업의 통합이 예측 품질을 유지하면서도 계산 비용을 상당히 감소시키는가?
• RQ3 PastNet는 자연 현상 및 합성 영상 벤치마크를 포함한 다양한 데이터셋에 대해 일관된 성능을 유지하며 일반화 가능한가?
• RQ4 PastNet는 Navier-Stokes 방정식 및 얕은 수면 방정식과 같은 복잡한 PDE를 영상 예측 환경에서 어느 정도 해결할 수 있는가?
• RQ5 고해상도 영상 예측 작업에서 최신 기준 모델 대비 훈련 속도와 수렴 속도 측면에서 PastNet은 어떻게 비교되는가?

주요 결과

• 100 에포크 후 PastNet는 MovingMNIST에서 가장 낮은 MSE와 가장 높은 MS-SSIM 점수를 기록했으며, 훈련 시간은 단 4.16시간으로 경쟁 모델보다 훨씬 빠르다.
• 자연 현상 데이터셋에서는 FPG 모듈을 사용한 PastNet가 최고 성능을 기록했고, UNet을 대체 모듈로 사용할 경우에도 강력한 성능 유지를 보이며 유연성을 입증했다.
• 60 에포크 내에 PastNet는 SSIM 약 0.92를 달성했고, 다른 모델들은 0.85 이하에 머물렀다. 이는 빠른 수렴 속도를 의미한다.
• 100 에포크 후 PastNet는 약 38의 PSNR를 기록하여 다른 모델들에 비해 영상 품질에서 뚜렷한 우수성을 보였다.
• PastNet는 PDE 해결 잠재력이 높으며, Navier-Stokes 방정식(NSE)보다 얕은 수면 방정식(SWE)에서 더 낮은 MSE와 MAE를 기록했고, 에포크당 훈련 시간은 유사했다.
• 제거 실험 결과 FPG와 DST 모듈이 모두 핵심적임을 확인했다: FPG 제거 시 성능 저하가 발생하고, DST 제거 시 훈련 속도 저하가 나타나 정확도 및 효율성에서 각각의 기여도를 입증했다.

Figure 2. An overview of the proposed PastNet, which consists of a Fourier-based Physics-guided (FPG) and a Discrete Spatio-temporal (DST) module. The PFI module first divides video frames into non-overlapping patches and introduce Fourier-based spectral filter with the introduction of physical bias