[論文レビュー] Modeling sequential data using higher-order relational features and predictive training

Vincent Michalski, Roland Memisevic+1 more|arXiv (Cornell University)|Feb 10, 2014

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 8

ひとこと要約

本稿では、順序データ内の複雑で長距離にわたる時間的ダイナミクスを捉えるために、高次関係的特徴を備えた深層双線形モデルを提案する。標準の再構成学習に代えて多段階予測学習を採用することで、変換の変換をモデル化し、NORBvideos やバッティングボールの動画データセットにおいて、ベースラインの双線形モデルよりも顕著に予測精度が向上する。

ABSTRACT

Bi-linear feature learning models, like the gated autoencoder, were proposed as a way to model relationships between frames in a video. By minimizing reconstruction error of one frame, given the previous frame, these models learn "mapping units" that encode the transformations inherent in a sequence, and thereby learn to encode motion. In this work we extend bi-linear models by introducing "higher-order mapping units" that allow us to encode transformations between frames and transformations between transformations. We show that this makes it possible to encode temporal structure that is more complex and longer-range than the structure captured within standard bi-linear models. We also show that a natural way to train the model is by replacing the commonly used reconstruction objective with a prediction objective which forces the model to correctly predict the evolution of the input multiple steps into the future. Learning can be achieved by back-propagating the multi-step prediction through time. We test the model on various temporal prediction tasks, and show that higher-order mappings and predictive training both yield a significant improvement over bi-linear models in terms of prediction accuracy.

研究の動機と目的

• 順序データ、特に動画系列における長距離時間的依存関係をモデル化する課題に対処すること。
• 2フレーム間の1次変換しか捉えない標準の双線形モデルの限界を改善すること。
• 2次変換（変換の変換）を学習する階層的モデルを構築し、より良い時間的構造表現を実現すること。
• 再構成ではなく、多段階予測の目的関数に基づいて判別的に学習することで、予測性能を向上させること。
• 時間遡及バックプロパゲーションを用いた予測学習が、生成的事前学習のみに比べて優れた結果をもたらすことを示すこと。

提案手法

• 2つの入力フレーム間の変換を表すマッピングユニットを学習するために、乗法的相互作用を用いたゲート付きオートエンコーダ（GAE）の変種を用いる。
• 2層構造を提案：1層目はフレームペア間の1次変換を学習し、2層目はそれらの推定マッピング間の2次変換を学習する。
• 低レベルの変換の隠れ表現間の双線形相互作用により高次関係的特徴をモデル化し、複雑な運動ダイナミクスの符号化を可能にする。
• 時間軸に沿って多段階予測損失を誤差逆伝播することで予測学習を実施し、初期フレームペアに基づいて将来のフレームを予測するようモデルを強制する。
• 全系列の最終微調整を実施する前に、フレームペアおよび推定変換ペアを用いて層ごとに事前学習を行う。
• 特徴マップ内のフィルタ応答間の乗法的相互作用（ハダマード積を用いて）により、位相差や変換タイプを効果的に符号化できる。

実験結果

リサーチクエスチョン

• RQ1 1次双線形モデルが達成できる範囲を超えて、高次関係的特徴が動画系列における複雑で長距離の時間的構造を改善してモデル化できるか？
• RQ2 再構成ではなく、多段階将来予測を最適化対象とする予測学習は、系列モデリングにおける一般化性能と精度を向上させるか？
• RQ3 変換の変換をモデル化する深層双線形アーキテクチャは、反射や物体間相互作用といった非線形ダイナミクスを捉えられるか？
• RQ4 生成的事前学習に比べて、予測的微調整が系列モデリングタスクにおいてどれほど性能向上をもたらすか？
• RQ5 NORBvideosのような3次元運動を示す構造的データにおいて、モデルは観測フレーム列を超えて外挿できるか？

主な発見

• 高次マッピングと予測学習を備えたHGAEモデルは、NORBvideosおよびバッティングボールデータセットの両方で、標準GAEモデルよりも将来フレームの予測において顕著に優れている。
• NORBvideosデータセットでは、HGAEは3次元オブジェクトの視点変化を正しく捉え、5フレームの学習シーケンスを越えて予測しても、GAEよりもより正確に運動を外挿している。
• バッティングボールデータセットでは、HGAEは10～20フレームにわたり一貫した予測を実行し、反射や衝突を正しくモデル化しており、非線形ダイナミクスに対する頑健性を示している。
• 予測学習の目的関数により、生成的事前学習のみに比べて収束が速く、性能も優れており、特に多段階先読み損失を用いた微調整時において顕著である。
• モデルが時間的進化の2次「微分」を学習できることにより、明示的な隠れ状態表現なしに複雑な運動をモデル化できる。
• フィルタの可視化から、一部のフィルタには過学習の兆候が見られるが、多くのフィルタは局所的でガボール型の特徴を示しており、空間周波数変換の有効な学習が行われていることが示唆される。