[論文レビュー] Transformation-Based Models of Video Sequences

Joost R. van Amersfoort, Anitha Kannan+4 more|arXiv (Cornell University)|Jan 29, 2017

Advanced Image Processing Techniques参考文献 10被引用数 63

ひとこと要約

本論文はパッチ上の局所アフィン変換を予測することにより、次の動画フレームを予測し、小さなモデルでシャープな生成を可能にすることを提案し、生成フレーム上で実行される分類器に基づく評価プロトコルを導入する。

ABSTRACT

In this work we propose a simple unsupervised approach for next frame prediction in video. Instead of directly predicting the pixels in a frame given past frames, we predict the transformations needed for generating the next frame in a sequence, given the transformations of the past frames. This leads to sharper results, while using a smaller prediction model. In order to enable a fair comparison between different video frame prediction models, we also propose a new evaluation protocol. We use generated frames as input to a classifier trained with ground truth sequences. This criterion guarantees that models scoring high are those producing sequences which preserve discriminative features, as opposed to merely penalizing any deviation, plausible or not, from the ground truth. Our proposed approach compares favourably against more sophisticated ones on the UCF-101 data set, while also being more efficient in terms of the number of parameters and computational cost.

研究の動機と目的

• 動画における次フレーム予測のための教師なし学習を動機づける。
• コンパクトなモデルでシャープで妥当なフレームを生成するための変換空間アプローチを提案する。
• 次フレームの変換を抽出するパッチベースのアフィン変換抽出器とCNN予測子を開発する。
• 生成品質をピクセル-wise な類似性以上で評価する分類器ベースの評価プロトコルを導入する。

提案手法

• フレームを重なるパッチに分割し、各パッチのアフィン変換を推定して入力フレームを次のフレームへワープする。
• 複数の連続したフレームペアから得られた過去のアフィン変換を入力として次の一連のアフィン変換を予測するCNNを訓練する。
• 予測子を時系列で展開し、複数の未来フレームを予測して展開したネットワークをバックプロパゲーションする。
• 予測されたアフィン変換を最後に観測したフレームに適用し、重なり部分を平均化して予測フレームを再構成する。
• 生成物を地上真実系列上の事前学習済み分類器に通して、識別特徴の保持を測定することで評価を行う。

実験結果

リサーチクエスチョン

• RQ1 動画の運動は画像パッチに適用される局所的なアフィン変換として効果的にモデル化できるか。
• RQ2 パッチごとのアフィン変換予測は、ピクセルベースモデルより計算コストを抑えつつ妥当な未来フレームを生成できるか。
• RQ3 分類器ベースの評価プロトコルは生成された動画列の品質を信頼性を持って反映するか。
• RQ4 変換ベースのアプローチは標準ベンチマークにおける光学フローや対抗的に訓練されたピクセルベースモデルとどう比較されるか。
• RQ5 予測子を複数ステップ展開することで多段予測の頑健性は向上するか。

主な発見

方法	4 frames	8 frames
真値フレーム	72.46	72.29
地上真実アフィン変換を使用	71.7	71.28
最後のフレームをコピー	60.76	54.27
光学フロー	57.29	49.37
Mathieu et al. (2016)	57.98	47.01
私たちの手法 - 1ステップ予測 (展開なし)	64.13	57.63
私たちの手法 - 4ステップ予測 (4回展開)	64.54	57.88

• 変換空間モデルはよりシャープな予測を生み出し、競合モデルよりパラメータ数が少なくて済む。
• UCF-101において、アフィン変換アプローチは光学フローのベースラインや対抗的CNNをいくつかの設定で上回り、計算量を抑えつつ性能を達成。
• 地上真実アフィン変換を用いると競争力のある性能を発揮し、パッチごとのアフィン分解を検証できる。
• 展開型の多段予測子はGreedyな1ステップ予測子よりも良い性能を示し、誤差蓄積に対する頑健性を示唆。
• 最も良い報告結果のUCF-101（4フレーム入力、8フレーム予測）は、地上真実フレームで64.54%、展開予測で57.88%、いくつかのベースラインを上回る。
• このアプローチは自然動画における次フレーム予測の強力でスケーラブルな基準を提供する。