[論文レビュー] Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction

Vincent Le Guen, Nicolas Thome|arXiv (Cornell University)|Mar 3, 2020

Generative Adversarial Networks and Image Synthesis被引用数 45

ひとこと要約

PhyDNet は PDE ベースの物理ダイナミクスを残差情報から分離する 2-branch 潜在アーキテクチャを導入し、 新規 PhyCell を用いて教師なしの動画予測を実現、4つの一般データセットで最先端の成果を達成します。

ABSTRACT

Leveraging physical knowledge described by partial differential equations (PDEs) is an appealing way to improve unsupervised video prediction methods. Since physics is too restrictive for describing the full visual content of generic videos, we introduce PhyDNet, a two-branch deep architecture, which explicitly disentangles PDE dynamics from unknown complementary information. A second contribution is to propose a new recurrent physical cell (PhyCell), inspired from data assimilation techniques, for performing PDE-constrained prediction in latent space. Extensive experiments conducted on four various datasets show the ability of PhyDNet to outperform state-of-the-art methods. Ablation studies also highlight the important gain brought out by both disentanglement and PDE-constrained prediction. Finally, we show that PhyDNet presents interesting features for dealing with missing data and long-term forecasting.

研究の動機と目的

• 未知の動画予測を改善するために、事前の物理知識を活用する動機づけ。
• 物理ダイナミクスを残差因子から分離する2branch潜在アーキテクチャを提案する。
• 潜在空間で PDE を離散化して予測を行う再帰セル PhyCell を導入する。
• 予測補正スキームを通じて長期予測の頑健性を高め、欠損データの扱いを可能にする。

提案手法

• 入力フレームをエンコーダ E で潜在空間 H にエンコードする。
• 並列の2つの再帰ブランチ：PhyCell が物理ダイナミクス（PDE 制約）をモデル化し、ConvLSTM が残差ダイナミクスをモデル化する。
• 物理ダイナミクスは PhyCell 内で前向きオイラー法を用いて離散化され、PDE の項を近似する学習された導関数演算子を用いる。
• 観測データの影響をゲート制御する補正項を導入し、データ同化に類似した予測-補正スキームを形成する。
• 潜在表現 h = h^p + h^r をデコードして将来のフレームを予測する。
• 学習は画像再構成損失と、学習された PDE 導関数を妥当な微分演算子に制約するモーメント損失を共同で最適化する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間は PDE に基づく物理ダイナミクスと残差情報を分離して、教師なし動画予測を改善できるか？
• RQ2 潜在空間での PDE 制約付き予測は、純粋にデータ駆動のモデルより精度と頑健性を向上させるか？
• RQ3 提案された PhyCell が残差 ConvLSTM ブランチとどのように相互作用して多ステップ予測を最適化するか？
• RQ4 予測-補正メカニズムは動画予測における欠損データと長期予測を支援できるか？

主な発見

• PhyDNet は4つの一般データセット（Moving MNIST、Traffic BJ、Sea Surface Temperature、Human 3.6）で最先端のベースラインを上回る。
• 単一層の PhyCell はデータセット間で MSE において3層 ConvLSTM をすでに上回り、はるかに少ないパラメータを使用する。
• 物理ダイナミクスを残差因子から分離すると、すべてのデータセットで一貫した性能向上をもたらす（ConvLSTM ベースのモデルに比べて顕著な MSE の改善など）。
• 予測-補正スキームは欠損データを伴う頑健な学習を可能にし、長期予測の安定性を改善する。
• PDE にインスパイアされた制約による物理的正則化は、学習された残差因子と適切にバランスを取ると有益である。モーメント損失の過度な厳格適用は性能を低下させる可能性があるが、適切な統合は結果を改善する。
• アブレーションにより、物理モデリングと分離が併せて最良の性能を底上げすることが示された。