[論文レビュー] UPFlow: Upsampling Pyramid for Unsupervised Optical Flow Learning

Kunming Luo, Chuan Wang+4 more|arXiv (Cornell University)|Dec 1, 2020

Advanced Vision and Imaging参考文献 45被引用数 4

ひとこと要約

本稿では、補間によるぼやけを軽減する自己ガイド付きアップサンプリングモジュールと、最も細かいレベルのフローを偽ラベルとして用いて中間レベルを監督するピラミッド distillation 損失を導入することで、ピラミッドベースのネットワークを改善する非教師あり光流手法 UPFlow を提案する。本手法は、KITTI 2012 で EPE=1.4、KITTI 2015 で F1=9.38% を達成し、従来の非教師あり手法よりもそれぞれ 22.2% および 15.7% の相対的改善を達成し、最先端の性能を実現した。

ABSTRACT

We present an unsupervised learning approach for optical flow estimation by improving the upsampling and learning of pyramid network. We design a self-guided upsample module to tackle the interpolation blur problem caused by bilinear upsampling between pyramid levels. Moreover, we propose a pyramid distillation loss to add supervision for intermediate levels via distilling the finest flow as pseudo labels. By integrating these two components together, our method achieves the best performance for unsupervised optical flow learning on multiple leading benchmarks, including MPI-SIntel, KITTI 2012 and KITTI 2015. In particular, we achieve EPE=1.4 on KITTI 2012 and F1=9.38% on KITTI 2015, which outperform the previous state-of-the-art methods by 22.2% and 15.7%, respectively.

研究の動機と目的

• ピラミッドベースの光流ネットワークにおける、レベル間の双線形アップサンプリングに起因する補間ぼやけを軽減すること。
• 非教師あり光流学習において、通常はガイドのない中間ピラミッドレベルの監督を向上させること。
• 最も細かいフローを偽ラベルとして用いて、粗いレベルでの distillation を行い、フロー推定の精度を向上させること。
• 教師データが存在しない非教師あり光流ベンチマークで最先端の性能を達成すること。

提案手法

• 補間フローとマッピングを学習することでアップサンプリングをガイドする自己ガイド付きアップサンプリングモジュールを導入し、動きのエッジでのぼやけを低減する。
• デコーダーからの特徴マップをガイドとして用い、アライメントに注意を払った補間を学習することで、詳細の保持を向上させる。
• 最も細かいフローを偽ラベルとして用いて中間ピラミッドレベルを監督するピラミッド distillation 損失を提案する。
• distillation 時に不確実な領域を除外するために、遮蔽マスクを適用し、偽ラベルの品質を向上させる。
• 自己ガイド付きアップサンプリングとピラミッド distillation 損失を統合した非教師あり学習フレームワークを統合的に構築する。
• エンドツーエンド学習のため、標準的な光度損失、滑らかさ損失、Census 損失に加え、新規損失を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なアップサンプリング機構は、ピラミッドベースの光流ネットワークにおける補間ぼやけを軽減できるか？
• RQ2 最も細かいフローからの偽ラベルを用いて中間ピラミッドレベルを監督することで、全体のフロー推定性能が向上するか？
• RQ3 教師なし学習における性能向上を実現するため、distillation を用いた損失戦略は有効か？
• RQ4 自己ガイド付きアップサンプリングとピラミッド distillation 損失の統合は、標準ベンチマークにおいて従来の非教師あり手法と比較して優れているか？

主な発見

• KITTI 2012 ベンチマークでは UPFlow が EPE=1.4 を達成し、前回の最先端手法比で 22.2% の相対的改善を示した。
• KITTI 2015 ベンチマークでは UPFlow が F1 スコア 9.38% を達成し、前回の最先端手法比で 15.7% の相対的改善を示した。
• 自己ガイド付きアップサンプリングモジュールは、JBU や GF や DJF といった画像ガイド付き手法を上回り、優れたエッジ保持性能を示した。
• 除去実験では、自己ガイド付きモジュール内の補間マップやフローを削除すると性能が低下し、それらの重要性が確認された。
• 遮蔽マスクを適用したピラミッド distillation 損失は、非教師あり損失（PUL-up/PUL-down）よりも優れた結果を示し、偽ラベルガイドの有効性を裏付けた。
• 自己ガイド付きアップサンプリングとピラミッド distillation 損失の両方を備えた UPFlow モデルは、Sintel、MPI-Sintel、KITTI 2012、KITTI 2015 すべてのベンチマークで最高の性能を達成した。