[論文レビュー] PDE-Driven Spatiotemporal Disentanglement

Jérémie Donà, Jean-Yves Franceschi+2 more|arXiv (Cornell University)|Aug 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 74被引用数 7

ひとこと要約

本論文は、関数的変数分離を用いて、高次元の時空間予測のための分離可能な空間的および時間的表現を学習する、PDE駆動型の時空間的分離化フレームワークを提案する。動的挙動を学習されたODEでモデル化し、正則化によって分離可能性を強制することで、物理的および合成動画データセットにおいて、先行モデルよりも優れた解釈可能性と効率性を兼ね備えた最先端の性能を達成する。

ABSTRACT

A recent line of work in the machine learning community addresses the problem of predicting high-dimensional spatiotemporal phenomena by leveraging specific tools from the differential equations theory. Following this direction, we propose in this article a novel and general paradigm for this task based on a resolution method for partial differential equations: the separation of variables. This inspiration allows us to introduce a dynamical interpretation of spatiotemporal disentanglement. It induces a principled model based on learning disentangled spatial and temporal representations of a phenomenon to accurately predict future observations. We experimentally demonstrate the performance and broad applicability of our method against prior state-of-the-art models on physical and synthetic video datasets.

研究の動機と目的

• 高次元の動的挙動を示す複雑な時空間現象を予測するという課題に対処すること。
• 動画予測における空間的および時間的要因の解釈可能性と分離性を向上させること。
• 従来の分離化手法におけるRNNベースのモデルや、複雑な敵対的または変分的アーキテクチャの限界を克服すること。
• PDE理論に基づいた原理的で一般性が高く、計算的に効率的なフレームワークを、時空間予測に提供すること。

提案手法

• 本手法は、関数的変数分離を用いて、PDEの分離可能な解の学習として時空間的分離化を定式化する。
• 時空間的状態を空間的成分Sと時間的成分Tに分解し、Tは学習されたODEに従って進化する。
• 分離性は、予測損失とSおよびTに対する正則化ペナルティの組み合わせによって強制される。
• エンコーダが観測値を潜在的SおよびTにマップし、デコーダがSとTの積として時空間的状態を再構築するVAEに類似したアーキテクチャが使用される。
• 時間的動的挙動は、時間に依存する変換を学習する平坦なODEでモデル化され、Tの微分は局所的動的挙動を扱うための畳み込み層を備えたニューラルネットワークによって計算される。
• 本フレームワークは、グローバルおよびローカルの変数分離をサポートしており、特に局所的輸送現象を示すデータセットでは性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 PDE理論からの関数的変数分離が、深層学習モデルにおける原理的時空間的分離化を達成するために利用可能か？
• RQ2 正則化とODEベースの動的挙動による分離性の強制が、敵対的または変分的手法と比較して、予測精度と分離性をどのように向上させるか？
• RQ3 提案手法が、物理的システムや合成動画を含む多様な時空間的現象にどの程度一般化可能か？
• RQ4 PDEにインspiredされたインダクティブバイアスは、長期予測の整合性と耐性をどのように向上させるか？

主な発見

• SSTデータセットでは、提案モデルがt+6でMSE 0.86、t+10で1.43を達成し、PhyDNet（1.27および1.91）とSVG（1.51および2.06）を上回った。
• SSTでは、t+6でSSIM 0.7466、t+10で0.6577を達成し、PhyDNet（0.5782および0.4645）とSVG（0.6259および0.5595）を上回った。
• 静的成分Sを含まないアブレーションでは、MSEがt+6で0.95、t+10で1.50に低下し、分離可能な空間的表現の重要性が確認された。
• 線形時間的動的挙動を用いたモデルは、t+6でMSE 1.15、t+10で1.80を達成し、非線形ODEが単純な動的挙動よりも性能を向上させることを示した。
• WaveEqデータセットでは、定量的サンプルと図7のスケーリング差分解析から、長期予測の一貫性が維持された。
• 3D Warehouseのチェアデータセットにおける定性的比較では、提案モデルがDrNetよりもシャープで正確な動的サンプルを生成したのに対し、DrNetはぼやけた出力を生成した。