[논문 리뷰] Mutual Suppression Network for Video Prediction using Disentangled Features

Jungbeom Lee, Jangho Lee외 2명|arXiv (Cornell University)|2018. 04. 13.

Human Pose and Action Recognition참고 문헌 45인용 수 9

한 줄 요약

이 논문은 적대적 훈련을 통해 영상의 운동 및 콘텐츠 특징을 분리하는 상호 억제 네트워크(MSnet)를 제안한다. 이를 통해 더 정확한 영상 예측이 가능해진다. 운동 특징을 콘텐츠 특징에서 억제하고 그 반대의 방식으로, 인코더-디코더 아키텍처 내에서 운동 유도 연결을 사용함으로써 MSnet는 더 단순한 인코더를 사용하면서도 최신 기술 수준의 성능을 달성하여, 프레임 예측 정확도와 특징 분리도에서 이전 방법들을 능가한다.

ABSTRACT

Video prediction has been considered a difficult problem because the video contains not only high-dimensional spatial information but also complex temporal information. Video prediction can be performed by finding features in recent frames, and using them to generate approximations to upcoming frames. We approach this problem by disentangling spatial and temporal features in videos. We introduce a mutual suppression network (MSnet) which are trained in an adversarial manner and then produces spatial features which are free of motion information, and motion features with no spatial information. MSnet then uses motion-guided connection within an encoder-decoder-based architecture to transform spatial features from a previous frame to the time of an upcoming frame. We show how MSnet can be used for video prediction using disentangled representations. We also carry out experiments to assess the effectiveness of our method to disentangle features. MSnet obtains better results than other recent video prediction methods even though it has simpler encoders.

연구 동기 및 목표

• 비디오 표현 학습에서 뒤섞인 운동과 콘텐츠 문제를 해결함으로써 비지도 특징 학습을 방해하는 요소를 제거하는 것.
• 광학 흐름이나 레이블 데이터에 의존하지 않고 공간(콘텐츠) 및 시간(운동) 특징를 분리하여 영상 예측을 향상시키는 것.
• 이전 프레임의 콘텐츠 특징을 운동 유도 연결을 통해 보완함으로써 더 정확한 프레임 생성을 가능하게 하는 것.
• 분리된 특징이 영상 예측에서 더 나은 일반화 및 재현 가능성을 제공함을 입증하는 것.
• 제거 실험과 시각화를 통해 상호 억제가 순수한 운동 및 콘텐츠 표현을 달성하는 데 효과적인지 검증하는 것.

제안 방법

• 두 개의 판별기(운동용 및 콘텐츠용)를 사용하는 상호 적대적 훈련 방식을 통해 특징 추출 과정에서 관련 없는 정보를 억제한다.
• 운동 인코더는 콘텐츠 판별기에 의해 공간적 콘텐츠를 포함하지 않도록 훈련되며, 그 반대의 경우도 마찬가지로 적용된다.
• 다중 프레임(예: x¹ 및 x²)에서 콘텐츠 특징를 추출하여 시간 반전 가능성과 차폐에 대한 강건성을 확보한다.
• 디코더 내 운동 유도 연결은 운동 특징를 사용하여 이전 프레임의 콘텐츠 특징를 목표 프레임의 시간적 맥락에 맞게 변형한다.
• 운동 정보에 의해 수정된 스킵 연결을 포함한 인코더-디코더 아키텍처를 사용하여 특징 전파를 향상시킨다.
• 훈련 목표는 특징 분리를 위한 적대적 손실과 프레임 예측 정밀도를 확보하기 위한 복원 손실을 포함한다.

실험 결과

연구 질문

• RQ1 상호 적대적 훈련이 영상 표현 내 운동 및 콘텐츠 특징를 효과적으로 분리하는 데 유용한가?
• RQ2 단일 프레임 콘텐츠 추출에 비해 다중 프레임 콘텐츠 인코딩이 강건성과 분리도 향상에 기여하는가?
• RQ3 디코더 내 운동 유도 연결이 콘텐츠 특징를 시간적 이동에 맞게 적응시켜 프레임 예측 성능을 향상시키는가?
• RQ4 상호 억제가 추출된 운동 및 콘텐츠 특징의 순수성과 의미적 품질에 어떤 영향을 미치는가?
• RQ5 최신 기술 수준의 방법들과 비교했을 때 특징 분리도가 영상 예측 성능 향상에 얼마나 기여하는가?

주요 결과

• MSnet는 더 단순한 인코더를 사용하면서도 최신 기술 수준의 영상 예측 성능을 달성하여, 정량적 지표와 정성적 결과 모두에서 최근의 방법들을 능가한다.
• 제거 실험 결과, 운동 또는 콘텐츠 판별기를 제거할 경우 성능이 크게 떨어지며, 효과적인 분리에 상호 억제가 필수적임을 확인한다.
• 특징 기반의 가장 가까운 프레임 검색 결과, 양 판별기를 갖춘 MSnet는 순수한 운동 또는 콘텐츠 기반으로 프레임을 검색함을 보여주며, 특징 분리가 성공적으로 이루어졌음을 확인한다.
• t-SNE 시각화 결과, 운동 특징는 행동 유형(예: 걷기, 달리기)에 따라 잘 군집되어 있는 반면, 콘텐츠 특징는 무작위로 분포되어 있어, 콘텐츠 특징 내 운동 정보 억제가 성공적으로 이루어졌음을 시사한다.
• 두 판별기가 활성화된 상태에서 다수의 예측 프레임에 걸쳐 안정적인 성능을 유지함으로써, 신뢰할 수 있는 시간 모델링이 이루어지고 있음을 나타낸다.
• 시간 반전 가능한 콘텐츠 특징 설계 덕분에 콘텐츠 특징는 시간 순서에 관계없이 일관되게 유지되며, 운동 누설가 줄어든다.