[論文レビュー] Optical Flow Requires Multiple Strategies (but only one network)

Tal Schuster, Lior Wolf+1 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Vision and Imaging参考文献 22被引用数 4

ひとこと要約

この論文は、動きの大きさに応じて負例を動的に選択し、段階的に訓練の難易度を上げることで、1つの深層ネットワークが小規模および大規模な変位の両方のマッチング戦略を処理できるようにする、光学フロー向けの新しいメトリック学習アプローチを提案する。本手法は、KITTI 2012およびKITTI 2015ベンチマークで、多様な運動状況下での記述子の一般化を向上させることで、最先端の性能を達成する。

ABSTRACT

We show that the matching problem that underlies optical flow requires multiple strategies, depending on the amount of image motion and other factors. We then study the implications of this observation on training a deep neural network for representing image patches in the context of descriptor based optical flow. We propose a metric learning method, which selects suitable negative samples based on the nature of the true match. This type of training produces a network that displays multiple strategies depending on the input and leads to state of the art results on the KITTI 2012 and KITTI 2015 optical flow benchmarks.

研究の動機と目的

• 光学フローのマッチングにおける固有の不均一性に対処し、小規模な変位と大規模な変位に対して別々の戦略を必要とすることを目的とする。
• マッチングケースの難易度や性質の違いを考慮することで、光学フロー用の深層ネットワークにおける記述子学習を改善することを目的とする。
• アーキテクチャの変更なしに、1つのネットワークが複数の戦略を効果的に学習できるようにする訓練戦略を開発することを目的とする。
• 特に大規模な変位において、複雑な現実世界のシーンの前景および背景領域における誤差率を低減することを目的とする。
• 改善された記述子の一般化が、追加データや教師信号を用いずに標準ベンチマークで最先端の性能を達成できることを示すこと

提案手法

• 真のマッチの変位と一致する距離に負例を選び、地面真値に一様に近い負例を選ぶのではなく、変位に依存する負例選択戦略を提案する。
• 難易度ベースと損失ベースのサンプル選択を組み合わせた、自己-paced-カリキュラムインタリーブ（SPCI）訓練方式を導入する。
• 記述子学習の安定性と性能を向上させるために、DrLIM損失の代わりにヒンジ損失を用いた修正版PatchBatchパイプラインを採用する。
• 変位の大きさと損失に基づいて訓練サンプルを層別化し、段階的に難易度の高いサンプルを導入するカリキュラム学習アプローチを採用する。
• 訓練中にすべての訓練データを維持し、距離に基づくサンプリングによる負例の難易度制御により、サンプルの除外を避ける。
• 既存のPatchBatchに基づく光学フローフレームワークに本手法を適用し、アーキテクチャの変更なしに記述子学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 動きの大きさの多様性を考慮すると、1つの深層ニューラルネットワークが光学フローの複数の異なるマッチング戦略を効果的に学習できるか？
• RQ2 メトリック学習の過程で負例の選択が、小規模および大規模な変位状況における記述子の一般化に与える影響は何か？
• RQ3 難易度と損失に基づいたサンプル選択をインタリーブするカリキュラムスタイルの訓練スケジュールが、挑戦的な光学フローベンチマークでの性能向上に寄与するか？
• RQ4 改善された記述子学習により、現実世界のシーンにおける前景および背景領域の誤差率、特に大規模な変位において低減できるか？
• RQ5 損失およびサンプリング戦略の単純な修正が、追加の教師信号やデータを用いずに、より複雑なモデルを上回る性能を達成できるか？

主な発見

• 提案されたSPCI訓練手法は、KITTI 2012でOut-Noc誤差を4.65%まで低減し、先行手法と比較して最先端の性能を達成した。
• KITTI 2015では、Fl-all誤差が18.46%にまで低下し、元のPatchBatch（21.69%）およびCNN-HPM（19.44%）を顕著に上回った。
• 前景の外れ値誤差（Fl-fg）は24.52%、背景誤差（Fl-bg）は17.25%まで低下し、シーンの領域全体にわたる一般化性能の向上が示された。
• MPI-Sintelベンチマークでは、大誤差変位の割合が40.07%（SPCI）にまで低下し、EPEでは首位ではないものの、元のPatchBatch（45.86%）を上回った。
• 小規模な変位（s0-10: 0.88）では低誤差を維持しながら、大規模な変位誤差（s40+: 40.07%）を顕著に低減し、運動スケール全体にわたるバランスの取れた性能を示した。
• 向上した記述子学習により、アーキテクチャの変更なしに多様な運動状況に一般化できることが実証され、提案された訓練戦略の有効性が裏付けられた。