[論文レビュー] Frequency Domain Transformer Networks for Video Prediction

Hafez Farazi, Sven Behnke|arXiv (Cornell University)|Mar 1, 2019

Advanced Vision and Imaging参考文献 27被引用数 4

ひとこと要約

本稿では、周波数ドメインにおける位相差を用いて時系列変換を推定することで、より正確で安定した長期予測を実現するエンドツーエンド学習可能なアーキテクチャである周波数ドメイン変換ネットワーク（FDTN）を提案する。FDTNは、Moving MNISTおよびBouncing Ballデータセットにおいて、Conv-PGP や VLN よりも低い予測誤差と少ないパラメータで、ベースラインを上回る性能を発揮する。

ABSTRACT

The task of video prediction is forecasting the next frames given some previous frames. Despite much recent progress, this task is still challenging mainly due to high nonlinearity in the spatial domain. To address this issue, we propose a novel architecture, Frequency Domain Transformer Network (FDTN), which is an end-to-end learnable model that estimates and uses the transformations of the signal in the frequency domain. Experimental evaluations show that this approach can outperform some widely used video prediction methods like Video Ladder Network (VLN) and Predictive Gated Pyramids (PGP).

研究の動機と目的

• 空間ドメインにおける動画予測の高非線形性の課題を、周波数ドメイン表現を活用することで解決すること。
• フーリエドメインにおける位相差を用いて運動変換をモデル化することで、長期的な動画予測の精度を向上させること。
• 周波数ドメインで時系列変換を明示的に推定・適用するエンドツーエンド学習可能なアーキテクチャを設計すること。
• 合成動画予測ベンチマークにおいて、VLN や Conv-PGP などの既存手法を上回ること。

提案手法

• 入力フレームを高速フーリエ変換（FFT）により周波数ドメインに変換する。
• 連続するフレーム間の変換を、複素周波数表現の要素ごとの位相差として推定する。
• 全結合層または畳み込み層を用いた可学習な「変換モデル」が、位相差表現を処理し、運動の変化を予測する。活性化関数にはReLUまたはSigmoidを用いる。
• 予測された変換を周波数ドメインにおける位相回転として適用し、次のフレームの周波数表現を生成する。
• ReLU活性化関数を内蔵する3層の畳み込み層からなる「精錬モデル」が、空間ドメインにおける高周波成分の再構築を実行する。
• フリップされたバージョンを含む複数の変換済み表現のソフトマックス重み付き融合を用いることで、境界効果を軽減し、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメインにおける運動変換のモデル化は、空間ドメイン手法と比較して長期的動画予測性能を向上させ得るか？
• RQ2 フーリエドメインにおける位相差推定は、従来の双線形変換やゲート付きオートエンコーダーに基づく変換モデルと比較して、どのように異なるか？
• RQ3 可学習な周波数ドメイン変換モデルは、移動する数字や跳ねるボールといった異なる合成動画ダイナミクスにどの程度一般化可能か？
• RQ4 専用の「精錬モデル」の統合は、予測フレームにおける再構築のぼやけを軽減し、視覚的品質を向上させるか？
• RQ5 アーキテクチャの選択肢（全結合 vs. 畳み込み型「変換モデル」）は、性能およびパラメータ効率にどのように影響を与えるか？

主な発見

• FDTN(Conv)は、Moving MNISTデータセットで平均二乗予測誤差0.00316を達成し、Conv-PGP（0.06963）および VLN-ResNet（0.00544）を上回った。
• FDTN(FC)は、Moving MNISTで誤差0.00285、Bouncing Ballで0.00086を達成し、Conv-PGP や VLN-ResNet より顕著に優れた性能を示した。
• FDTN(FC)は160Kパラメータで実現したが、VLN-ResNetの130万パラメータに比べてはるかに少ないパラメータで最良の性能を達成した。
• 「精錬モデル」を削除すると予測がぼやけたため、高周波成分の保持においてその重要性が示された。
• 「変換モデル」を排除した場合、運動の動的変化のモデル化に失敗したため、正確な変換予測に不可欠であることが確認された。
• モデルは長時間シーケンスに対しても良好に一般化し、10フレームの学習期間を超えて性能を維持したのに対し、ベースラインはそのような性能を示さなかった。