[論文レビュー] Multigrid Predictive Filter Flow for Unsupervised Learning on Videos

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|Apr 2, 2019

Advanced Vision and Imaging参考文献 102被引用数 16

ひとこと要約

本論文は、マルチスケールで共有重みを用いたワープにより、フレームを再構築するためのピixelごとのフィルタを予測する、コンactで教師なしの動画学習フレームワーク、Multigrid Predictive Filter Flow (mgPFF) を提案する。256×256のフレームにおいて、4.6MBのモデルサイズと0.1秒の推論時間で、動画オブジェクトセグメンテーション、ポーズトラッキング、長距離フレーム再構築の分野で最先端の性能を達成した。

ABSTRACT

We introduce multigrid Predictive Filter Flow (mgPFF), a framework for unsupervised learning on videos. The mgPFF takes as input a pair of frames and outputs per-pixel filters to warp one frame to the other. Compared to optical flow used for warping frames, mgPFF is more powerful in modeling sub-pixel movement and dealing with corruption (e.g., motion blur). We develop a multigrid coarse-to-fine modeling strategy that avoids the requirement of learning large filters to capture large displacement. This allows us to train an extremely compact model (4.6MB) which operates in a progressive way over multiple resolutions with shared weights. We train mgPFF on unsupervised, free-form videos and show that mgPFF is able to not only estimate long-range flow for frame reconstruction and detect video shot transitions, but also readily amendable for video object segmentation and pose tracking, where it substantially outperforms the published state-of-the-art without bells and whistles. Moreover, owing to mgPFF's nature of per-pixel filter prediction, we have the unique opportunity to visualize how each pixel is evolving during solving these tasks, thus gaining better interpretability.

研究の動機と目的

• エゴモーションなどの構造的制約がない自由形式のラベルなし動画における教師なし動画表現学習の課題に取り組む。
• 標準的な空間変換器レイヤーの限界、特に大規模な変位における劣化した勾配信号と可逆性の問題を克服する。
• 座標オフセットではなく、ピクセルごとのフィルタ予測を用いて、サブピクセルおよび大規模な変位運動を正確にモデル化する。
• マルチグリッドの粗いから細かいフィルタリングとスケール間での重み共有を活用し、計算コストとモデルサイズを低減することで、効率的でコンパクトなモデルを構築する。
• 微調整なしに、動画オブジェクトセグメンテーションや人間のポーズトラッキングなどの下流タスクにおいて強力なゼロショット転移性能を示す。

提案手法

• 従来の空間変換器レイヤーの代わりに、各出力ピクセルに対して11×11のフィルタ重みを予測し、入力からの重み付き平均によってフレームを再構築する。
• 標準的なフローエstimatationとは逆の処理順序を採用：オフセットを予測してから補間するのではなく、フローを暗黙的に定義するフィルタ重みを直接予測する。
• 大規模な変位を処理するためのマルチグリッド戦略を用いる：入力フレームを複数の解像度（粗いから細かい）で処理し、各スケールで固定の11×11フィルタカーネルを使用。各スケールの結果を合成して最終的なフローフィールドを形成する。
• スケール間での重み共有を強制することで、モデルサイズを大幅に削減（4.6MBのモデルに）しつつ、性能を維持する。
• 非ペアの動画フレーム上で教師なし事前学習が可能になるように、ワープ済みフレームとターゲットフレーム間の光度再構築損失を用いてエンドツーエンドで学習する。
• 式6を用いて予測されたフィルタフローを座標フローに変換し、再構築に差分可能な補間（バイリニアサンプリング）を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ピクセルごとのフィルタ予測は、特に大規模またはサブピクセルの運動に対して、標準的な空間変換器レイヤーを上回る性能を示せるか？
• RQ2 共有重み付きマルチグリッドアーキテクチャは、大きなフィルタカーネルや広範な監視を必要とせずに、長距離運動を効率的にモデル化できるか？
• RQ3 提案されたmgPFFフレームワークは、微調整なしに動画オブジェクトセグメンテーションや人間のポーズトラッキングといった下流タスクに十分に一般化できるか？
• RQ4 mgPFFは、短距離フレームペアでのみ学習されているにもかかわらず、光学フローのベースラインと比較して長距離フレーム再構築でどの程度の性能を示すか？
• RQ5 ピクセルごとのフィルタの進化を可視化することで、動画理解タスクにおける運動ダイナミクスの理解に役立つインサイトが得られるか？

主な発見

• DAVIS2017の検証セットにおいて、5フレームのギャップではピクセル単位のL1再構築誤差が7.32、10フレームのギャップでは8.83を記録し、FlowNet2（62.4と90.3）、CycleTime（60.4と76.4）などのベースラインを大きく上回った。
• 微調整なしにJHMDBデータセットにおいて動画オブジェクトセグメンテーションと人間のポーズトラッキングで最先端の性能を達成し、ColorPointer や CycleTime などの手法を上回った。
• 最初のフレームのマスクのみを初期化に使用してもmgPFFはトラッキング性能を向上させた。これは、オブジェクトの運動や隠蔽に対しても頑健であることを示している。
• 失敗事例の主な原因は、重度の隠蔽、運動ぼやけ、またはオブジェクトが画像境界を逸脱した場合であり、極端な視覚的劣化に対する限界を示唆している。
• モデルは非常に効率的である：256×256の画像上で0.1秒で実行可能で、重み共有とマルチスケールフィルタリングのおかげで、モデルサイズはわずか4.6MBである。
• ピクセルごとのフィルタの進化を可視化した結果、解釈可能な運動パターンが得られ、時間経過に伴う個々のピクセルの追跡と変換の仕組みに関する洞察が得られた。