[논문 리뷰] Frequency Domain Transformer Networks for Video Prediction

Hafez Farazi, Sven Behnke|arXiv (Cornell University)|2019. 03. 01.

Advanced Vision and Imaging참고 문헌 27인용 수 4

한 줄 요약

이 논문은 주파수 도메인에서의 단계 차이를 통해 시간적 변환을 추정함으로써 영상 예측을 모델링하는 엔드 투 엔드 학습 가능한 아키텍처인 주파수 도메인 트랜스포머 네트워크(FDTN)를 제안한다. 이는 더 정확하고 안정적인 장기 예측을 가능하게 한다. FDTN은 Moving MNIST 및 Bouncing Ball 데이터셋에서 Conv-PGP와 VLN보다 낮은 예측 손실과 더 적은 파라미터를 바탕으로 베이스라인들을 능가한다.

ABSTRACT

The task of video prediction is forecasting the next frames given some previous frames. Despite much recent progress, this task is still challenging mainly due to high nonlinearity in the spatial domain. To address this issue, we propose a novel architecture, Frequency Domain Transformer Network (FDTN), which is an end-to-end learnable model that estimates and uses the transformations of the signal in the frequency domain. Experimental evaluations show that this approach can outperform some widely used video prediction methods like Video Ladder Network (VLN) and Predictive Gated Pyramids (PGP).

연구 동기 및 목표

• 공간 도메인 영상 예측에서의 높은 비선형성을 해결하기 위해 주파수 도메인 표현을 활용한다.
• 푸리에 도메인에서의 단계 차이를 통해 운동 변환을 모델링하여 장기 영상 예측 정확도를 향상시킨다.
• 주파수 도메인에서 시간적 변환을 명시적으로 추정하고 적용하는 엔드 투 엔드 학습 가능한 아키텍처를 설계한다.
• 합성 영상 예측 벤치마크에서 기존 방법들인 VLN과 Conv-PGP를 능가한다.

제안 방법

• 입력 프레임의 빠른 푸리에 변환(FFT)을 계산하여 주파수 도메인에서 표현한다.
• 복소수 주파수 표현 간의 원소별 단계 차이로 연속 프레임 간의 변환을 추정한다.
• 완전 연결 또는 컨볼루션 레이어와 ReLU/sigmoid 활성화 함수를 사용하는 학습 가능한 '변환 모델'이 단계 차이 표현을 처리하여 운동 변화를 예측한다.
• 예측된 변환을 주파수 도메인에서의 단계 회전을 통해 적용하여 다음 프레임의 주파수 표현을 생성한다.
• ReLU 활성화 함수를 가진 세 개의 컨볼루션 레이어를 갖는 '정제 모델'이 공간 도메인에서 고주파 성분을 복원한다.
• 플립된 버전 포함 다중 변환 표현의 소프트맥스 가중 융합을 통해 경계 효과를 완화하고 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 공간 도메인 방법과 비교해 주파수 도메인에서 운동 변환을 모델링하면 장기 영상 예측 성능이 향상되는가?
• RQ2 푸리에 도메인에서의 단계 차이 추정 방식은 전통적인 이차형 보간 또는 게이트드 오토인코더 기반 변환 모델링 방식과 비교해 어떻게 다를까?
• RQ3 학습 가능한 주파수 도메인 변환 모델이 이동하는 숫자나 튀는 공과 같은 다양한 합성 영상 역학에 얼마나 잘 일반화되는가?
• RQ4 '정제 모델'의 통합이 예측 프레임의 재구성 블러를 줄이고 시각적 품질을 향상시키는가?
• RQ5 완전 연결형 vs. 컨볼루션형 '변환 모델'의 아키텍처 선택이 성능과 파라미터 효율성에 어떤 영향을 미치는가?

주요 결과

• FDTN(Conv)는 Moving MNIST 데이터셋에서 평균 제곱 예측 손실 0.00316을 기록했으며, Conv-PGP(0.06963)와 VLN-ResNet(0.00544)를 모두 능가했다.
• FDTN(FC)는 Moving MNIST에서 손실 0.00285, Bouncing Ball에서 0.00086를 기록했으며, 이는 Conv-PGP와 VLN-ResNet보다 유의미하게 뛰어난 성능을 보였다.
• FDTN(FC)는 160K개의 파라미터를 가졌음에도 불구하고 VLN-ResNet의 1.3M개 파라미터보다 우수한 성능을 달성했다.
• '정제 모델'을 제거하면 예측이 뿌연 상태가 되었으며, 이는 고주파 성분을 유지하는 데서 중요한 역할을 함을 입증했다.
• '변환 모델'을 제거하면 운동 변화의 동적 변화를 모델링하지 못해 실패했으며, 이는 정확한 변환 예측을 위해 필수적임을 확인했다.
• 모델는 더 긴 시퀀스로도 일반화가 잘 되었으며, 기준선들과 달리 10프레임 이상의 훈련 수준을 초월해도 성능을 유지했다.