[論文レビュー] Disentangling Propagation and Generation for Video Prediction

Hang Gao, Huazhe Xu+4 more|arXiv (Cornell University)|Dec 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 11

ひとこと要約

本論文は、信頼度を考慮した不透明マップを用いて、動きに基づく光流ワープと動きに依存しない画像補完を分離する DPG（Disentangling Propagation and Generation）を提案する。ワープ処理後に不透明マスクを計算し、不透明領域に対して専用の補完器を用いることで、KITTI FlowおよびCalTech Pedestrianデータセットにおいて、知覚的リアリズムとシャープネスの面で最先端の結果を達成し、SSIMおよびLPIPS指標において顕著な向上を示した。

ABSTRACT

A dynamic scene has two types of elements: those that move fluidly and can be predicted from previous frames, and those which are disoccluded (exposed) and cannot be extrapolated. Prior approaches to video prediction typically learn either to warp or to hallucinate future pixels, but not both. In this paper, we describe a computational model for high-fidelity video prediction which disentangles motion-specific propagation from motion-agnostic generation. We introduce a confidence-aware warping operator which gates the output of pixel predictions from a flow predictor for non-occluded regions and from a context encoder for occluded regions. Moreover, in contrast to prior works where confidence is jointly learned with flow and appearance using a single network, we compute confidence after a warping step, and employ a separate network to inpaint exposed regions. Empirical results on both synthetic and real datasets show that our disentangling approach provides better occlusion maps and produces both sharper and more realistic predictions compared to strong baselines.

研究の動機と目的

• 複雑な不透明領域と大きな動きを伴う動的シーンにおける正確な動画予測の課題に取り組む。
• 従来の手法が画素を無差別にワープするか、完全から生成するため、不透明領域でゴースト化や現実的でない結果を生じるという制限を克服する。
• 動き固有の伝搬と動きに依存しない生成を明示的に分離することで、動画予測の忠実度を向上させる。
• ワープ処理後に計算される信頼度を考慮した不透明マップを用いて、不透明領域の選択的補完をガイドする。
• 特に大きな動きと不透明領域を扱う際の優れた性能を、合成および実世界のベンチマークで示す。

提案手法

• モデルは、入力フレームから将来のターゲットフレームへの光流を外挿するためのフロー予測器を使用する。
• 信頼度を考慮したワープ演算子が、予測されたフローを用いて最後の入力フレームの画素を伝搬するが、信頼度はフローの信頼性に基づいて計算される。
• ワープ処理後にスパarsな不透明マップが生成され、信頼度が低い領域（不透明または曖昧な領域）を特定する。
• 別個のコンテキストエンコーダ（補完器）が、不透明マップをマスクとして用いて、不透明領域の現実的な画素を生成する。
• 最終的な予測は、不透明マップをゲーティングメカニズムとして用いて、高信頼度のワープ画素と低信頼度の補完画素を統合することで形成される。
• 学習可能なマスキング重み β を用いて、不透明領域における再構成品質を重視した重み付き損失でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 動きの伝搬と外見の生成を分離することで、動画予測の品質が向上するか？
• RQ2 エンドツーエンドモデルにおける統合学習と比較して、ワープ後の信頼度推定は、より優れた不透明領域検出をもたらすか？
• RQ3 不透明領域に対して別個の補完器を用いることで、統合ベースやオートエンコーダベースの最適化を上回る性能が得られるか？
• RQ4 計算された不透明マップの品質は、真値および学習された対応物と比較して、IoUおよび下流の性能面でどの程度優れているか？
• RQ5 予測忠実度を最大化するために、訓練段階における不透明領域の損失重みを最適化するとどうなるか？

主な発見

• KITTI Flowデータセットでは、本手法がPSNR 22.3、SSIM 0.696、LPIPS 0.114を達成し、すべてのベースラインを上回った。
• マルチフレーム予測において、時間経過に伴い一貫した性能向上を示し、8フレーム予測においてPSNRが安定している。これに対してDVFは急速に性能が低下する。
• アブレーションスタディにより、計算された不透明マップ（RoamingImagesにおけるIoU = 24.91）が、学習された不透明マップ（IoU = 0.0411）よりも、不透明領域検出および下流の予測品質の両面で顕著に優れていることが確認された。
• マスキング重み β のアブレーションでは、不透明領域に高い損失重み（β = 10）を割り当てた場合が最良の性能（PSNR: 22.3、SSIM: 0.696、LPIPS: 0.114）を示したが、不透明領域のみにマスクを適用する（β = ∞）と、性能が急激に低下した。
• CalTech PedestrianおよびKITTI Flowデータセットの両方で、最先端の結果を達成し、特に大きな動きと不透明領域の処理において、知覚的リアリズムとシャープネスの面で顕著な向上を示した。
• 信頼度に基づく不透明マップは、真値の不透明領域監視がなくても、より優れた一般化性とロバストネスを実現しており、その一貫性ある性能向上が裏付けられた。