[論文レビュー] Motion Segmentation using Frequency Domain Transformer Networks

Hafez Farazi, Sven Behnke|arXiv (Cornell University)|Apr 18, 2020

Human Pose and Action Recognition参考文献 10被引用数 4

ひとこと要約

本稿では、自己教師付き動画予測において、前景と背景の運動を別々にモデル化することで解釈可能性と性能を向上させるエンドツーエンドの周波数ドメイン変換器ネットワークを提案する。周波数ドメイン表現と連合運動推定を活用することで、合成データにおいて Video Ladder Network や Predictive Gated Pyramids を上回る性能を達成する。

ABSTRACT

Self-supervised prediction is a powerful mechanism to learn representations that capture the underlying structure of the data. Despite recent progress, the self-supervised video prediction task is still challenging. One of the critical factors that make the task hard is motion segmentation, which is segmenting individual objects and the background and estimating their motion separately. In video prediction, the shape, appearance, and transformation of each object should be understood only by predicting the next frame in pixel space. To address this task, we propose a novel end-to-end learnable architecture that predicts the next frame by modeling foreground and background separately while simultaneously estimating and predicting the foreground motion using Frequency Domain Transformer Networks. Experimental evaluations show that this yields interpretable representations and that our approach can outperform some widely used video prediction methods like Video Ladder Network and Predictive Gated Pyramids on synthetic data.

研究の動機と目的

• 自己教師付き動画予測における運動セグメンテーションの課題に取り組む。これは、ピクセルレベルのフレーム予測から個々の物体の運動を推定する必要がある。
• 前景と背景の運動を別々にモデル化することで表現学習を向上させ、予測フレームの解釈可能性を高める。
• 周波数ドメイン特徴を用いて運動推定と予測を連合的に最適化できるエンドツーエンドで学習可能なアーキテクチャを開発する。
• 合成ベンチマークにおいて、Video Ladder Network や Predictive Gated Pyramids などの既存の動画予測モデルを上回ることを目的とする。

提案手法

• 本手法は周波数ドメイン変換器ネットワークを用い、動画フレームの周波数ドメインで運動表現を抽出・モデル化する。
• 前景と背景を別々にモデル化するための専用ストリームヘッドを導入することで、運動セグメンテーションと予測精度を向上させる。
• フレーム予測と同時に運動推定を実行することで、分離された運動表現を学習できる。
• ピクセル空間の再構成損失のみを用いて、自己教師付きで学習する。
• 周波数ドメイン変換を適用することで、運動パターンへの感受性が向上し、特徴の識別能が向上する。
• モデルはエンドツーエンドで微分可能であり、運動推定とフレーム予測の同時最適化が可能である。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメイン表現は、自己教師付き学習における運動セグメンテーションと動画予測性能を向上させることができるか？
• RQ2 前景と背景の運動モデルを分離することで、より解釈可能で正確な動画予測が可能になるか？
• RQ3 変換器ベースのアーキテクチャは、ピクセルレベルのフレーム予測から分離された運動表現を効果的に学習できるか？
• RQ4 本手法は、合成データにおいて、既存の動画予測モデル（Video Ladder Network や Predictive Gated Pyramids）と比較してどのように性能を発揮するか？

主な発見

• 提案手法は、合成動画予測ベンチマークにおいて Video Ladder Network や Predictive Gated Pyramids を上回る優れた性能を達成した。
• 予測時に前景と背景の運動を明示的に分離することで、解釈可能な表現を学習した。
• 周波数ドメインモデリングにより、ネットワークの運動パターンの捉え込み能力が向上し、予測の忠実度が向上した。
• 連合的な運動推定とフレーム予測により、より正確で分離された運動表現が得られた。
• 自己教師付き学習の枠組みにより、真値の運動アノテーションがなくても効果的な特徴学習が可能となった。