[논문 리뷰] Motion Segmentation using Frequency Domain Transformer Networks

Hafez Farazi, Sven Behnke|arXiv (Cornell University)|2020. 04. 18.

Human Pose and Action Recognition참고 문헌 10인용 수 4

한 줄 요약

이 논문은 자기지도 학습 비디오 예측을 위해 전경 및 배경 운동을 별도로 모델링하는 엔드 투 엔드 주파수 도메인 트랜스포머 네트워크를 제안한다. 이는 해석 가능성과 성능을 향상시킨다. 주파수 도메인 표현과 통합 운동 추정을 활용함으로써, 합성 데이터에서 Video Ladder Network와 Predictive Gated Pyramids를 능가한다.

ABSTRACT

Self-supervised prediction is a powerful mechanism to learn representations that capture the underlying structure of the data. Despite recent progress, the self-supervised video prediction task is still challenging. One of the critical factors that make the task hard is motion segmentation, which is segmenting individual objects and the background and estimating their motion separately. In video prediction, the shape, appearance, and transformation of each object should be understood only by predicting the next frame in pixel space. To address this task, we propose a novel end-to-end learnable architecture that predicts the next frame by modeling foreground and background separately while simultaneously estimating and predicting the foreground motion using Frequency Domain Transformer Networks. Experimental evaluations show that this yields interpretable representations and that our approach can outperform some widely used video prediction methods like Video Ladder Network and Predictive Gated Pyramids on synthetic data.

연구 동기 및 목표

• 자기지도 학습 비디오 예측에서 프레임 수준의 예측만으로도 개별 객체의 운동을 추론해야 하는 운동 분할 문제를 해결하기 위해.
• 전경 및 배경 운동을 별도로 모델링하여 표현 학습을 향상시키고 예측 프레임의 해석 가능성을 높이기 위해.
• 주파수 도메인 특징를 사용하여 운동 추정과 예측을 동시에 수행하는 엔드 투 엔드 학습 가능한 아키텍처를 개발하기 위해.
• 합성 기준점에서 기존의 비디오 예측 모델들인 Video Ladder Network와 Predictive Gated Pyramids를 능가하기 위해.

제안 방법

• 이 방법은 주파수 도메인 트랜스포머 네트워크를 사용하여 비디오 프레임의 주파수 도메인에서 운동 표현을 추출하고 모델링한다.
• 전경과 배경을 별도의 스트림 헤드를 사용하여 모델링함으로써 운동 분할 및 예측 정확도를 향상시킨다.
• 프레임 예측과 함께 운동 추정을 동시에 수행함으로써, 네트워크가 분리된 운동 표현을 학습할 수 있도록 한다.
• 픽셀 공간 복원 손실만을 사용하여 다음 프레임을 예측하는 방식으로 자기지도 학습 방식으로 훈련한다.
• 주파수 도메인 변환을 적용하여 운동 패턴에 대한 민감도를 높이고 특징의 구분 능력을 향상시킨다.
• 모델은 엔드 투 엔드 미분 가능하며, 운동 추정과 프레임 예측을 동시에 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 주파수 도메인 표현은 자기지도 학습에서 운동 분할 및 비디오 예측 성능을 향상시키는 데 기여하는가?
• RQ2 전경과 배경 운동을 별도로 모델링하는 것이 더 해석 가능하고 정확한 비디오 예측을 가능하게 하는가?
• RQ3 트랜스포머 기반 아키텍처는 픽셀 수준의 프레임 예측에서 분리된 운동 표현을 효과적으로 학습할 수 있는가?
• RQ4 제안된 방법은 합성 데이터에서 확립된 비디오 예측 모델들인 Video Ladder Network와 Predictive Gated Pyramids와 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 합성 비디오 예측 기준점에서 Video Ladder Network와 Predictive Gated Pyramids를 초월하는 뛰어난 성능을 달성한다.
• 예측 과정에서 전경과 배경 운동을 명시적으로 분리함으로써 모델은 해석 가능한 표현을 학습한다.
• 주파수 도메인 모델링은 네트워크가 운동 패턴을 더 잘 포착할 수 있도록 하여 예측 정밀도를 향상시킨다.
• 통합된 운동 추정과 프레임 예측은 더 정확하고 분리된 운동 표현을 가능하게 한다.
• 자기지도 학습 페러다임은 실제 운동 애너테이션 없이도 효과적인 특징 학습을 가능하게 한다.