[論文レビュー] Spatio-temporal video autoencoder with differentiable memory

Viorica Pătrăucean, Ankur Handa+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Vision and Imaging参考文献 31被引用数 235

ひとこと要約

本稿では、畳み込みLSTMセルを用いた微分可能視覚的短期記憶を備えた時空間動画オートエンコーダーを提案する。このモデルは、光流速度推定器と画像サンプラーをフィードバックループとして統合することで、未来のフレームをエンドツーエンドに再構築し、最小限の教師信号で弱教師付き動画セマンティックセグメンテーションにおいて最先端の性能を達成する。

ABSTRACT

We describe a new spatio-temporal video autoencoder, based on a classic spatial image autoencoder and a novel nested temporal autoencoder. The temporal encoder is represented by a differentiable visual memory composed of convolutional long short-term memory (LSTM) cells that integrate changes over time. Here we target motion changes and use as temporal decoder a robust optical flow prediction module together with an image sampler serving as built-in feedback loop. The architecture is end-to-end differentiable. At each time step, the system receives as input a video frame, predicts the optical flow based on the current observation and the LSTM memory state as a dense transformation map, and applies it to the current frame to generate the next frame. By minimising the reconstruction error between the predicted next frame and the corresponding ground truth next frame, we train the whole system to extract features useful for motion estimation without any supervision effort. We present one direct application of the proposed framework in weakly-supervised semantic segmentation of videos through label propagation using optical flow.

研究の動機と目的

• 深層動画モデルの学習に必要なラベル付き動画データの不足に対処し、無教師学習による動き表現の学習を可能にする。
• 動画系列における時間的冗長性を活用する際の標準的畳み込みネットワークの限界を克服する。
• 畳み込みLSTMを用いた生物学的にインスパイアされた視覚的短期記憶モジュールを設計し、動的な視覚的変化をモデル化する。
• 教師なしで動き推定と再構築を同時に学習できるエンドツーエンドの動画オートエンコーダーの訓練を可能にする。
• ラベル伝播を用いて、学習された動き特徴が弱教師付きセマンティックセグメンテーションにおいてどのように有用であるかを示す。

提案手法

• 畳み込みLSTMセルを微分可能な視覚的短期記憶として用いた、標準的な畳み込み画像オートエンコーダーとネストされた時間的オートエンコーダーを組み合わせた時空間動画オートエンコーダーのアーキテクチャを提案する。
• 視覚的変化を時間的に統合することで、畳み込みLSTMを用いて時間的文脈を符号化し、微分可能な方法で動きダイナミクスをモデル化する。
• 頑健な光流速度推定モジュールと、予測された流れを現在のフレームに適用して次のフレームを生成する画像サンプラーに基づく時間的デコーダーを実装する。
• 予測された次のフレームと真値を比較することで、エンドツーエンドの時間方向バックプロパゲーションを可能にする、組み込み型フィードバックループを導入する。
• 予測フレームと真値フレーム間の再構築損失を最小化することで、全システムを訓練し、動きのための無教師特徴学習を可能にする。
• 光流速度を幾何的事前知識として用いることで、アーキテクチャを弱教師付きセマンティックセグメンテーションに適応し、ラベルを光流速度を介して伝播させる。

実験結果

リサーチクエスチョン

• RQ1 畳み込みLSTMに基づく微分可能な視覚的短期記憶モジュールは、動画における無教師学習による動き表現の学習を改善できるか？
• RQ2 予測フレームと真値フレームのフィードバックループを有するエンドツーエンド訓練方式は、動き特徴の学習に対してどの程度効果的か？
• RQ3 学習された動き特徴は、弱教師付きセマンティックセグメンテーションの性能をどの程度向上できるか？
• RQ4 光流速度推定とフレーム予測の統合は、標準モデルと比較してセグメンテーション品質を向上させるか？
• RQ5 パラメータ効率性の観点から、標準的なオートエンコーダーや全結合LSTMベースのモデルと比較して、本アーキテクチャは性能で優れているか？

主な発見

• 畳み込みLSTM記憶を備えた提案された時空間オートエンコーダーは、パラメータ数を減らしながらも、標準的なオートエンコーダーや全結合LSTMベースラインを上回る動き表現学習性能を達成する。
• 本モデルは、フレームレベルのラベルのみを用いてCamvidデータセットで76.9%の全体平均セグメンテーション精度を達成し、ベースラインのSegNet（75.3%）を顕著に上回る。
• 光流速度制約を統合したSegNet-flowモデルは、特に大規模なオブジェクトクラスにおいて、セグメンテーション結果の滑らかさを顕著に向上させる。
• 改善は見られるが、小規模で細い構造では性能が低下する傾向にあり、主にトレーニングデータセットのサイズ制限とダウンサンプリングされた流れ推定によるものである。
• フィードバックループにより、効果的なエンドツーエンド訓練が可能となり、記憶モジュールの設計や解像度の変更についても容易に実験が可能である。
• 本アーキテクチャは、視覚的錯覚や曖昧な動き知覚のモデル化の可能性を示しており、記憶ダイナミクスにおける生物学的妥当性を示唆している。