[論文レビュー] FusionNet and AugmentedFlowNet: Selective Proxy Ground Truth for Training on Unlabeled Images

Osama Makansi, Eddy Ilg+1 more|arXiv (Cornell University)|Aug 20, 2018

Advanced Neural Network Applications参考文献 22被引用数 3

ひとこと要約

本論文では、複数の光学フロー推定値を学習された評価ネットワークで統合することで高品質なプロキシの正例を生成するFusionNetと、このプロキシを用いて微調整された光学フロー推定ネットワークであるAugmentedFlowNetを提案する。本手法は、ラベルなしの実世界動画を活用することで、光学フロー推定の精度と耐障害性を向上させ、KITTIベンチマークで最先端の性能を達成する。

ABSTRACT

Recent work has shown that convolutional neural networks (CNNs) can be used to estimate optical flow with high quality and fast runtime. This makes them preferable for real-world applications. However, such networks require very large training datasets. Engineering the training data is difficult and/or laborious. This paper shows how to augment a network trained on an existing synthetic dataset with large amounts of additional unlabelled data. In particular, we introduce a selection mechanism to assemble from multiple estimates a joint optical flow field, which outperforms that of all input methods. The latter can be used as proxy-ground-truth to train a network on real-world data and to adapt it to specific domains of interest. Our experimental results show that the performance of networks improves considerably, both, in cross-domain and in domain-specific scenarios. As a consequence, we obtain state-of-the-art results on the KITTI benchmarks.

研究の動機と目的

• 光学フロー推定における合成学習データと実世界画像のドメインギャップを解消すること。
• 手動アノテーションを一切必要とせずに、実世界データにおける光学フローネットワークの性能を向上させること。
• ラベルなし動画のみを用いてドメイン固有の適応を可能にする光学フローネットワークの構築。
• 個々の光学フロー推定手法を上回る性能を示すプロキシ正例手法の開発。
• 自己教師付き適応を通じて、光学フロー推定における精度と実行時間のトレードオフを最先端水準に高めること。

提案手法

• FusionNetは、複数の入力光学フロー分野の誤差を予測するように訓練され、画素ごとに最小誤差のフローベクトルを選択可能となる。
• FusionNetが選択したフロー分野が、FlowNetの微調整に用いられる高品質なプロキシ正例となる。
• その結果得られるAugmentedFlowNetは、大規模なラベルなし動画データ上で訓練され、手動アノテーションなしでドメイン適応が可能となる。
• 本手法は段階的な訓練パイプラインを採用：まずFusionNetを合成データ上で訓練し、フロー品質を評価する。その後、そのプロキシを用いて実画像上でFlowNetを微調整する。
• 評価ネットワークは、合成データセット上での予測誤差と正例誤差の差を最小化する損失関数を活用する。
• 本手法はクロスドメインおよびドメイン固有の適応を可能とし、正例データの追加微調整がなくても性能向上が確認されている。

実験結果

リサーチクエスチョン

• RQ1 学習されたアンサンブルによる光学フロー手法が、個々の手法を上回る性能を示すプロキシ正例を生成できるか？
• RQ2 複数の自己教師付きフロー推定器から導出されたプロキシ正例を用いて、FlowNetを効果的に微調整できるか？
• RQ3 実世界のラベルなし動画をプロキシ正例で訓練することで、KITTIのような実ベンチマークにおける光学フロー精度が向上するか？
• RQ4 完全に自己教師付きまたは合成データのみで学習するベースラインと比較して、本手法のドメイン適応性能はどのように差がつくか？
• RQ5 プロキシ正例手法はドメインを越えて一般化可能であり、正例ラベルが入手不可であっても最先端の結果を達成できるか？

主な発見

• FusionNetはすべての個別入力手法を上回り、Sintelベンチマークで1.58の最終フロー誤差を達成するプロキシ正例を生成した。
• 微調整済みのFlowNet（AugmentedFlowNetG-CSS）は、KITTI 2012ベンチマークで2.10の最終フロー誤差を記録し、新たな最先端を樹立した。
• KITTIの正例データで微調整後、AugmentedFlowNetはKITTI 2015で2.17%のエンドポイント誤差を達成し、以前の最先端結果を上回った。
• 正例ラベルを追加で使用せずにFusionNetのプロキシでのみ学習された一般的なAugmentedFlowNetバージョンでさえ、ベースラインのFlowNetモデルを上回る強力な性能を示した。
• FBMSにおける動きセグメンテーションの結果、augmented FlowNetCを用いることでF1スコアが4.77%向上した。これは実世界適応の利点を示している。
• スタックドされたaugmented FlowNetは、一部のケースでFusionNetのプロキシをも上回った。特に実正例で微調整した後は顕著で、ドメイン固有の適応の有効性を裏付けている。