[論文レビュー] Hybrid Learning of Optical Flow and Next Frame Prediction to Boost Optical Flow in the Wild

Nima Sedaghat, Mohammadreza Zolfaghari+1 more|arXiv (Cornell University)|Dec 12, 2016

Advanced Vision and Imaging参考文献 31被引用数 15

ひとこと要約

本論文は、合成データ（真値フロー付き）と実写動画（真値なし）を同時に学習するハイブリッド学習フレームワークを提案する。実写動画では自己教師型の次フレーム予測を補助タスクとして用い、畳み込みニューラルネットワーク（CNN）に基づく光学フロー推定を向上させる。本手法は、データソースに応じて監視学習と自己教師型学習を切り替えるサンプル可変なマルチタスクアーキテクチャを採用し、KITTIベンチマークで最先端の性能を達成するとともに、アクション認識性能にも顕著な向上を示す。また、敵対的損失を用いなくても次フレーム予測の精度が向上する。

ABSTRACT

CNN-based optical flow estimation has attracted attention recently, mainly due to its impressively high frame rates. These networks perform well on synthetic datasets, but they are still far behind the classical methods in real-world videos. This is because there is no ground truth optical flow for training these networks on real data. In this paper, we boost CNN-based optical flow estimation in real scenes with the help of the freely available self-supervised task of next-frame prediction. To this end, we train the network in a hybrid way, providing it with a mixture of synthetic and real videos. With the help of a sample-variant multi-tasking architecture, the network is trained on different tasks depending on the availability of ground-truth. We also experiment with the prediction of "next-flow" instead of estimation of the current flow, which is intuitively closer to the task of next-frame prediction and yields favorable results. We demonstrate the improvement in optical flow estimation on the real-world KITTI benchmark. Additionally, we test the optical flow indirectly in an action classification scenario. As a side product of this work, we report significant improvements over state-of-the-art in the task of next-frame prediction.

研究の動機と目的

• 真値フローが限られる実写動画における深層畳み込みニューラルネットワーク（CNN）ベースの光学フロー推定を改善すること。
• ラベルなし実写動画からの特徴学習を強化するために、自己教師型の次フレーム予測を補助タスクとして活用すること。
• データソースに応じて、監視フロー推定と自己教師型フレーム予測の間を動的に切り替えるマルチタスクアーキテクチャを設計すること。
• ハイブリッド学習の影響を、アクション認識などの下流タスクにおいて評価し、光学フローを超えた転移可能性を示すこと。
• 次フレームではなく「次フロー」を予測することで、光学フローの目的関数との整合性が向上するかどうかを検討すること。

提案手法

• 合成動画（真値フロー付き）と実写動画（真値なし）の混合データを用いて、マルチタスクでエンドツーエンドに学習する深層ネットワークを構築する。
• サンプル可変なマルチタスクアーキテクチャは、'マルチプレクサ' を用いて入力を異なるブランチにルーティングする：合成データではフロー推定、実写データではフローとフレーム予測の両方を実行する。
• タスク間で特徴エンコーダーを共有し、タスク固有のヘッドを設ける。フロー推定には2チャネル出力、フレーム予測には3チャネル出力が使用される。
• フル解像度のフローフィールドを生成するために、追加の2つのアップコンボリューション層を含む。これにより、フレーム予測との整合性が向上する。
• 学習は合成データと実写データのサイクルを交互に実行し、実写:合成の比率が1:5であることが最適であると判明した。
• アブレーションスタディでは、標準的な次フレーム予測と「次フロー」予測を比較。ここで「次フロー」予測とは、現在フレームと次のフレーム間のフローを予測する手法である。

実験結果

リサーチクエスチョン

• RQ1 自己教師型の次フレーム予測を、合成データでの監視学習と組み合わせることで、真値が乏しい実写動画における光学フロー推定が向上するか？
• RQ2 実写:合成のトレーニングサイクル比が、光学フロー性能と一般化性能に与える影響は何か？
• RQ3 次フレームではなく「次フロー」を予測することで、タスクの整合性が向上し、より良い光学フロー品質が得られるか？
• RQ4 次フレーム予測という補助タスクが、アクション認識などの下流アプリケーションの性能向上に寄与するか？
• RQ5 マルチタスク学習は必須であるか、それとも事前学習 followed by ファインチューニングで十分な転移学習が達成できるか？

主な発見

• KITTIベンチマークにおいて、提案手法はベースラインのFlowNetに対して顕著な改善を示し、平均エンドポイント誤差（EPE）を著しく低減した。
• UCF101およびHMDB51におけるアクション認識では、ベースラインのFlowNetと比較して、それぞれ12.1%および9.8%の精度向上を達成した。
• 標準的な光学フローの代わりに「次フロー」予測を採用することで、アクション認識性能の向上がさらに顕著となり、運動モデリングとの整合性が向上していることが示唆された。
• L1損失のみを用いても、敵対的手法を上回る全体的な画像品質と頑健性を実現し、UCF101における次フレーム予測の性能は最先端を記録した。
• 実写:合成のトレーニング比率が広い範囲で安定しており、最適な1:5の比率で最も高い性能を発揮した。この比率から逸脱しても性能低下はわずかにとどまった。
• フレーム予測の事前学習 followed by ファインチューニングでは、統合的マルチタスク最適化に比べて性能が劣り、エンドツーエンドのマルチタスク最適化の必要性が示された。