[論文レビュー] Occlusion Aware Unsupervised Learning of Optical Flow

Yang Wang, Yi Yang+4 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Vision and Imaging参考文献 27被引用数 18

ひとこと要約

本稿では、後方フローを用いてオクルージョンを明示的にモデル化し、再構成損失をガイドする、オクルージョンに配慮した教師なし学習フレームワークを提案する。大規模な動きの推定を改善するため、変更されたワーピング戦略と強化されたネットワーク設計を導入している。この手法は教師ありベースラインを上回る教師なし最先端性能を達成し、KITTIデータセットにおいてEPE 4.2を達成した。

ABSTRACT

It has been recently shown that a convolutional neural network can learn optical flow estimation with unsupervised learning. However, the performance of the unsupervised methods still has a relatively large gap compared to its supervised counterpart. Occlusion and large motion are some of the major factors that limit the current unsupervised learning of optical flow methods. In this work we introduce a new method which models occlusion explicitly and a new warping way that facilitates the learning of large motion. Our method shows promising results on Flying Chairs, MPI-Sintel and KITTI benchmark datasets. Especially on KITTI dataset where abundant unlabeled samples exist, our unsupervised method outperforms its counterpart trained with supervised learning.

研究の動機と目的

• 教師ありと教師なしの光流手法の性能格差を、特にオクルージョンと大規模な動きの要因により是正すること。
• 後方フロー予測を用いて損失関数にオクルージョンを明示的にモデル化することで、教師なし光流学習を改善すること。
• 変更されたワーピング機構とネットワークアーキテクチャの変更を通じて、大規模な動きの推定を向上させること。
• 高価な真値アノテーションに依存することなく、ラベルなし動画データのみを用いて高性能な光流予測を実現すること。

提案手法

• 本手法は、前向きおよび後方光流を同時に推定するエンドツーエンドのニューラルネットワークを導入し、後方フローから得られるオクルージョンマップを用いて対応のない領域を特定する。
• 非オクルージョン領域にのみ適用される修正された光度損失を用い、再構成過程でオクルージョン領域における差異に対してペナルティを与えないようにする。
• 大規模な動きをよりよく扱うために、エンコード段階でのマルチスケール特徴と改善された特徴集約を組み込んだ新しいワーピング機構を設計する。
• 特徴の識別能を高めるために、ヒストограм等化とチャネル表現をネットワークアーキテクチャに統合し、特にコントラストが低い領域で効果を発揮する。
• 自己教師ありの目的関数に基づき、ラベルなし動画データを用いて、ワープされたフレームからの画像再構成を目的としてモデルを学習する。
• 本フレームワークには、拡大された探索範囲とコントラスト強化を含むアブレーションコンponentsが含まれ、特に困難なベンチマークでの性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 動きの不連続性と対応の欠落が生じる状況下で、明示的なオクルージョンモデリングが教師なし光流推定を改善できるか？
• RQ2 後方フローを用いたオクルージョン検出が、教師なし学習における画像再構成と光流推定の精度に与える影響は何か？
• RQ3 変更されたワーピングとネットワーク設計を組み合わせることで、教師なし光流ネットワークにおける大規模な動き推定がどの程度向上できるか？
• RQ4 オクルージョンモデリング、強化されたワーピング、および前処理技術の組み合わせが、実世界のデータセットにおける既存の教師なし手法を上回る性能向上をもたらすか？
• RQ5 十分なラベルなしデータが利用可能な状況（例：KITTIデータセット）において、これらのコンponentsを備えた教師なし学習が、教師ありベースラインを上回れるか？

主な発見

• KITTI 2012ベンチマークでは、提案手法のエンドツーエンド誤差（EPE）は4.2を達成し、教師ありのFlowNetS+ftベースラインを上回った。
• MPI-Sintel Finalベンチマークでは、EPEが6.34を達成し、オクルージョン対応を備えたベースラインFlowNetSを顕著に上回った。
• KITTI 2012ではオクルージョン推定のFスコアが0.95、KITTI 2015では0.88を記録し、オクルージョンに対して真値の監視なしでも優れた性能を示した。
• アブレーションスタディの結果、オクルージョンモデリング、拡大された探索範囲、コントラスト強化、および変更されたネットワークアーキテクチャの組み合わせにより、Flying ChairsにおけるEPEが相対的に30%改善された。
• Flying Chairs、MPI-Sintel、KITTIの各ベンチマークで、教師なし手法として最先端の性能を達成した。特にKITTIでは、豊富なラベルなしデータのおかげで、教師あり手法を上回った。
• 本手法は、オクルージョン領域においてアーチファクトのない光流予測を生成し、DSTFlowなどの先行教師なし手法で見られる不自然な動きアーチファクトを回避した。