[論文レビュー] OccInpFlow: Occlusion-Inpainting Optical Flow Estimation by Unsupervised Learning

Kunming Luo, Chuan Wang+3 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Vision and Imaging参考文献 47被引用数 8

ひとこと要約

本論文では、外見に配慮したフロー精錬と境界拡張ワープを用いて、欠損領域の補完を行うことで性能を向上させる、教師なし光学フロー推定フレームワークであるOccInpFlowを提案する。視覚的コンテキストを用いて欠損領域におけるフロー補完をガイドすることで、境界に起因するオクルージョンを是正し、MPI-Sintel、KITTI、Flying Chairsの各ベンチマークで最先端の結果を達成した。従来の教師なし手法を上回り、一部の教師あり手法でさえも上回った。

ABSTRACT

Occlusion is an inevitable and critical problem in unsupervised optical flow learning. Existing methods either treat occlusions equally as non-occluded regions or simply remove them to avoid incorrectness. However, the occlusion regions can provide effective information for optical flow learning. In this paper, we present OccInpFlow, an occlusion-inpainting framework to make full use of occlusion regions. Specifically, a new appearance-flow network is proposed to inpaint occluded flows based on the image content. Moreover, a boundary warp is proposed to deal with occlusions caused by displacement beyond image border. We conduct experiments on multiple leading flow benchmark data sets such as Flying Chairs, KITTI and MPI-Sintel, which demonstrate that the performance is significantly improved by our proposed occlusion handling framework.

研究の動機と目的

• 従来の手法がオクルージョン領域を無視または破棄するなど、教師なし光学フロー学習におけるオクルージョンという重要な課題に対処すること。
• 非オクルージョン領域からのコンテキスト特徴を活用して、オクルージョン領域における欠損フロー情報を画像コンテキストに基づいて補完することで、フローアンチテーションの精度を向上させること。
• 画像境界を越えて移動する動きによって生じる境界に起因するオクルージョンを、新規の境界拡張ワープメカニズムを用いて処理すること。
• IRR-PWCのような教師ありネットワークの利点（例：高精度）を、教師なし学習設定に適応させること。
• オクルージョン領域がしばしば破棄されるが、自己教師ありフローアンチテーションにおいて、情報豊かな監督信号として効果的に利用可能であることを示すこと。

提案手法

• 非オクルージョン領域からのコンテキスト特徴を用いて、画像コンテキストに基づいてオクルージョン領域の光学フローを補完する、新しい外見フローネットワークであるAppFlowNet-Liteを提案する。
• 画像境界を越えて移動するピクセルのための光度損失計算を是正する、境界拡張ワープモジュールを導入する。これにより、このような状況でのロバストネスが向上する。
• IRR-PWCの教師ありネットワークバックボーンを、監視信号を光度一貫性損失とオクルージョン対応トレーニングに置き換えることで、教師なし学習設定に適応する。
• 大規模な変位と微細な運動ディテールを処理するため、共有された初期フロー推定とリファインメントブロックを備えたマルチスケールアーキテクチャを採用する。
• 2段階のトレーニングプロセスを適用する：まずマスクヘッドを用いてオクルージョンを検出し、次に外見フローネットワークを用いてオクルージョン領域のフローを精錬する。
• オブジェクトのオクルージョンを除いた光度損失を採用し、補完された領域からのガイドランスを維持することで、トレーニングの安定性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来、破棄または無視されがちなオクルージョン領域を、教師なし光学フロー推定の向上に効果的に活用できるか？
• RQ2 画像コンテキストをどのように活用して、オクルージョン領域における欠損フローの補完をガイドできるか？
• RQ3 新規の境界ワープ戦略により、画像境界を越えて移動するピクセルの光学フロー推定が、教師なし学習において向上するか？
• RQ4 オクルージョン補完と光度損失最適化を組み合わせることで、単独で用いる場合よりも性能が向上するか？
• RQ5 教師なし学習向けに設計されたフレームワークが、教師あり手法と同等またはそれ以上の性能を達成できるか？

主な発見

• MPI-Sintelベンチマークでは、クリーンパスでEPE 5.79、ファイナルパスで7.28を達成し、2番目に良い教師なし手法（それぞれ6.18と7.40）を上回った。
• KITTI 2012テストセットでは、EPEを1.78まで低減し、ベースラインを著しく上回り、多くの教師あり手法の性能をも上回った。
• アブレーションスタディにより、境界拡張ワープとオクルージョン補完を組み合わせることで最良の性能が得られ、Flying ChairsではEPEが2.62にまで低下した。
• オクルージョン領域での光度損失を除外するだけでも性能向上が見られたが、オクルージョン補完と組み合わせることで最大の向上が得られ、オクルージョン領域における情報豊かなガイドランスの価値を裏付けた。
• 評価されたすべてのベンチマーク（Flying Chairs、KITTI、MPI-Sintel）で最先端の性能を達成し、多様なデータセットと運動パターンにわたり、高いロバストネスを示した。
• 定性的な結果から、本手法はオクルージョン領域（例：いすの背もたれ）における運動を正しく回復しているのに対し、ベースラインは誤ったフローパラメータ伝搬により失敗していることが明らかになった。