[論文レビュー] Displacement-Invariant Matching Cost Learning for Accurate Optical Flow Estimation

Jianyuan Wang, Yiran Zhong+4 more|arXiv (Cornell University)|Oct 28, 2020

Advanced Vision and Imaging被引用数 45

ひとこと要約

本論文は displacement-invariant cost learning (DICL) と displacement-aware projection (DAP) 層を提案し、5D フィーチャーボリュームを構築せずに光学フローのマッチングコストを学習する方法を提示する。Sintel および KITTI で最先端の結果を達成。

ABSTRACT

Learning matching costs has been shown to be critical to the success of the state-of-the-art deep stereo matching methods, in which 3D convolutions are applied on a 4D feature volume to learn a 3D cost volume. However, this mechanism has never been employed for the optical flow task. This is mainly due to the significantly increased search dimension in the case of optical flow computation, ie, a straightforward extension would require dense 4D convolutions in order to process a 5D feature volume, which is computationally prohibitive. This paper proposes a novel solution that is able to bypass the requirement of building a 5D feature volume while still allowing the network to learn suitable matching costs from data. Our key innovation is to decouple the connection between 2D displacements and learn the matching costs at each 2D displacement hypothesis independently, ie, displacement-invariant cost learning. Specifically, we apply the same 2D convolution-based matching net independently on each 2D displacement hypothesis to learn a 4D cost volume. Moreover, we propose a displacement-aware projection layer to scale the learned cost volume, which reconsiders the correlation between different displacement candidates and mitigates the multi-modal problem in the learned cost volume. The cost volume is then projected to optical flow estimation through a 2D soft-argmin layer. Extensive experiments show that our approach achieves state-of-the-art accuracy on various datasets, and outperforms all published optical flow methods on the Sintel benchmark.

研究の動機と目的

• 光学フローのためのデータ駆動型マッチングコストの学習を動機づける。ステレオマッチングの進展に触発。
• 2D 的変位探索の計算コストという課題に対処するため、5D フィーチャーボリュームと 4D 畳み込みを回避する。
• displacement-invariant cost learning モジュールを提案し、各 displacement 仮説ごとに 2D マッチングネットを適用して 4D コストボリュームを構築する。
• displacement-aware projection 層を導入し、変位次元に沿ってコストを再ウェイトして多モーダルな曖昧さを緩和する。
• 標準的な光学フローベンチマークで精度の向上を示し、アブレーションを通じて本手法を検証する。

提案手法

• 各変位 u に対して小さな 2D ウィンドウ内の参照-ターゲット特徴連結 F_u(p) = F^1(p) || F^2(p+u) を計算する。
• 共有パラメータの 2D マッチングネットワーク G を F_u に適用し、各変位について独立にコスト C_u(p) を生成する（5D ボリュームや 4D 畳み込みは使用しない）。
• displacement-aware projection（変位次元に沿う 1x1 畳み込み）で変位間のコストを集約し C'_u を得る。
• 4D コストボリュームを displacement セット上の 2D soft-argmin によって 2D 光学フローへ射影する。
• 粗中細のピラミッド状ウェーピング戦略とコンテキストネットワークを用いてフロー予測を refined。

実験結果

リサーチクエスチョン

• RQ1 5D フィーチャーボリュームを構築したり 4D 畳み込みを用いたりすることなく、学習済みのマッチングコストを光学フローに対して効果的に推定できるか。
• RQ2 同じ 2D マッチングネットを各変位仮説に独立して適用することで、計算やメモリを削減しつつ有用な情報を preserving できるか。
• RQ3 displacement-aware projection 層は多モーダル問題を緩和し、サブピクセルのフロー精度を改善できるか。
• RQ4 displacement-invariant cost learning (DICL) と displacement-aware projection (DAP) は Sintel および KITTI データセットで最先端の結果を生むか。
• RQ5 DICL が従来のドット積/コサインや MLP ベースのコスト学習手法よりも光学フローで有利な点は何か。

主な発見

• DICL は FlyingChair、Sintel、KITTI のベンチマークにおいて、非学習型メトリクス（ドット積、コサイン類似度）や他の学習コストベースの手法より高い精度を達成する。
• DAP は データセットを通じて一貫して EPE を約 0.1 ピクセル改善し、多モーダル効果を soft-argmin 推定で緩和する。
• Sintel final で 3.44 EPE に到達し VCN や SelFlow を上回り、Sintel clean では 2.12 EPE を示し、強い一般化を示唆。
• PWCNet と VCN の非学習メトリクスを DICL へ置換することで顕著な性能向上を得られる（例: PWCNet+DICL および VCN+DICL で Chair EPE が改善）。
• 本手法は KITTI 2015 と Sintel で最先端の結果を示し、トレーニングセットでの検証も競争力があり、データセット固有の調整なしで堅牢な一般化を示す。