[論文レビュー] CNN based Patch Matching for Optical Flow with Thresholded Hinge Loss.

Christian Bailer, Kiran Varanasi+1 more|arXiv (Cornell University)|Jul 27, 2016

Advanced Vision and Imaging参考文献 11被引用数 9

ひとこと要約

この論文は、マルチスケールCNN特徴量とシアンプルネットワークのための新しいしきい値付きヘッジ損失を活用したCNNベースのパッチマッチングフレームワークを提案し、性能と学習効率を顕著に向上させた。KITTI 2012では最先端の結果を達成し、KITTI 2015では前景領域で最高の性能を示した。特徴マップのローパスフィルタリングにより、特徴のロバスト性が向上した。

ABSTRACT

Learning based approaches have not yet achieved their full potential in optical flow estimation, where their performance still trails heuristic approaches. In this paper, we present a novel optical flow pipeline that uses patch-matching with CNN trained features at multiple scales. We show a novel way for calculating CNN based features for different scales, which performs better than existing methods. Furthermore, we introduce a new thresholded loss for Siamese networks and demonstrate that our novel loss performs clearly better than existing losses. It also allows to speed up training by a factor of 2 in our tests. Moreover, we discuss new ways of evaluating the robustness of trained features for the application of patch matching for optical flow. An interesting discovery in our paper is that low pass filtering feature maps can increase the robustness of features created by CNNs. We prove competitive performance of our approach by submitting it to the KITTI 2012 and KITTI 2015 evaluation portals and obtaining the best results on KITTI 2012 and the best for foreground objects in KITTI 2015.

研究の動機と目的

• 学習ベース手法とヒューリスティック手法の間の性能格差を是正すること。
• マルチスケールCNN特徴量の学習によるパッチマッチングのための特徴表現の向上。
• シアンプルネットワークの学習効率と精度を向上させる新しい損失関数の開発。
• CNNが生成する特徴のロバスト性を評価し、強化すること。
• 特徴マップのフィルタリングがパッチマッチングにおけるロバスト性と性能に与える影響を調査すること。

提案手法

• パッチマッチングのための特徴表現において、既存手法を上回る性能を示すマルチスケールCNN特徴抽出パイプラインを提案。
• シアンプルネットワークのためのしきい値付きヘッジ損失を導入し、学習収束を改善し、学習時間を最大2倍短縮した。
• CNN特徴マップにローパスフィルタを適用することで、入力パッチのノイズや変動に対するロバスト性を向上させた。
• 複数スケールのCNNベース特徴量を用いたパッチマッチングフレームワークを設計し、対応関係のマッチング精度を向上させた。
• パッチマッチングのための光学フローに特化した新しい評価プロトコルを用いて、特徴のロバスト性を検証した。
• KITTI 2012およびKITTI 2015を含む標準ベンチマークにおける推論最適化を実施した。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールCNN特徴量は、既存の特徴学習手法と比較して光学フロー推定性能を向上させることができるか？
• RQ2 しきい値付きヘッジ損失は、光学フローのシアンプルネットワークにおける収束速度と性能を向上させるか？
• RQ3 CNN特徴マップのローパスフィルタリングは、光学フロー推定におけるパッチマッチングのロバスト性にどのように影響するか？
• RQ4 提案手法は、KITTI 2012およびKITTI 2015といった標準光学フローベンチマークで最先端の性能を達成できるか？
• RQ5 CNNベースの特徴のパッチマッチングにおけるロバスト性に影響を与える主な要因は何か？

主な発見

• 提案手法は、すべての提出物の中でKITTI 2012ベンチマークで最高の性能を達成した。
• KITTI 2015ベンチマークでは、前景オブジェクトに対して最高の結果を出した。これは、困難な運動領域でも優れた性能を示していることを示している。
• しきい値付きヘッジ損失により、性能に影響を与えることなく学習時間を2倍短縮した。
• CNN特徴マップのローパスフィルタリングが、ノイズおよび空間的変動に対する特徴のロバスト性を顕著に向上させたことが判明した。
• マルチスケールCNN特徴抽出法は、対応関係の正確性と一般化性能の面で、既存のアプローチを上回った。
• 新しいパッチマッチング評価プロトコルを用いて検証された結果、フレームワークは特徴マッチングにおいて優れたロバスト性を示した。