[論文レビュー] ResFPN: Residual Skip Connections in Multi-Resolution Feature Pyramid Networks for Accurate Dense Pixel Matching

Rishav, René Schuster+3 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Neural Network Applications参考文献 24被引用数 7

ひとこと要約

ResFPNは、畳み込みニューラルネットワークの多スケール特徴ピラミッドネットワークに残差スキップ接続を導入し、密度のあるピクセルマッチングのための特徴の局所化精度と代表性を向上させる。高分解能特徴を残差接続で統合することで、KITTI、Sintel、FlyingThings3Dといったベンチマークにおいて、オプティカルフロー、シーンフロー、視差推定の精度が向上し、エンドポイント誤差と外れ値レートが低減される。

ABSTRACT

Dense pixel matching is required for many computer vision algorithms such as disparity, optical flow or scene flow estimation. Feature Pyramid Networks (FPN) have proven to be a suitable feature extractor for CNN-based dense matching tasks. FPN generates well localized and semantically strong features at multiple scales. However, the generic FPN is not utilizing its full potential, due to its reasonable but limited localization accuracy. Thus, we present ResFPN -- a multi-resolution feature pyramid network with multiple residual skip connections, where at any scale, we leverage the information from higher resolution maps for stronger and better localized features. In our ablation study, we demonstrate the effectiveness of our novel architecture with clearly higher accuracy than FPN. In addition, we verify the superior accuracy of ResFPN in many different pixel matching applications on established datasets like KITTI, Sintel, and FlyingThings3D.

研究の動機と目的

• 標準的な特徴ピラミッドネットワーク（FPN）が密度のあるピクセルマッチングタスクにおいて局所化精度に限界を示す問題に対処する。
• エンドツーエンド学習可能なマッチングネットワークのための特徴の代表性と空間的精度を向上させる。
• 物体の境界やオクルージョン領域などの困難な領域におけるロバストネスと詳細の保持を強化する。
• 多様な最先端のマッチングアーキテクチャと互換性があるモジュラでプラグイン可能な特徴バックボーンを設計する。
• 複数の密度マッチングタスクとベンチマークデータセットを対象に、アーキテクチャの有効性を検証する。

提案手法

• 高分解能特徴マップを複数組み込み、残差スキップ接続を介してFPNバックボーンに統合し、微細なディテールを保持する。
• 各スケールに残差接続を適用することで、勾配パスの長さを短縮し、学習収束を改善する。
• 空間分解能とセマンティック強度をスケール全体で維持する多スケール特徴統合戦略を採用する。
• PSMNet、PWC-Net、PWOC-3Dなどの既存のエンドツーエンドマッチングフレームワークと互換性を持つようにネットワークを設計する。
• FPNのラテラル接続を活用するとともに、多スケールの残差特徴を追加して局所化精度を向上させる。
• マッチングヘッドのアーキテクチャを変更せずに、マッチングパイプライン全体で特徴抽出器をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 高分解能特徴マップからの残差スキップ接続は、FPNベースの特徴抽出器における局所化精度の向上に寄与するか？
• RQ2 多スケール特徴の統合により、密度マッチングタスクにおけるエンドポイント誤差と外れ値レートが低減するか？
• RQ3 ResFPNは、オプティカルフロー、シーンフロー、視差推定といった多様なマッチングタスクでどの程度の性能を示すか？
• RQ4 ResFPNは、画像の境界領域やオクルージョン領域における特徴品質をどの程度向上させるか？
• RQ5 ResFPNは、アーキテクチャの変更なしに、さまざまな最先端のマッチングネットワークに効果的にプラグインバックボーンとして利用可能か？

主な発見

• KITTIとFlyingThings3Dのシーンフロー推定において、ベースラインのFPNと比較して、ResFPNはエンドポイント誤差をそれぞれ約6%、22%低減した。
• KITTIとFlyingThings3Dのシーンフロー推定において、ResFPNを用いることで外れ値レートが約15%低減した。
• KITTIにおいて、PWOC-3Dでは境界誤差（d20）を6.54から6.80に、PWC-Netでは6.94から6.84に改善し、物体境界領域での性能向上を示した。
• PSMNetを用いた視差推定において、ResFPNは20ピクセルの境界距離でエンドポイント誤差を1.70から1.35に低減し、詳細の保持性が向上した。
• 可視化比較により、ResFPNが微細なディテール（小さな物体や明るさが低い物体）をよりよく保持していることが確認され、特に困難な照明条件やオクルージョン条件下でも優れた性能を示した。
• アブレーションスタディの結果、特に多スケールの残差接続が、すべてのタスクとデータセットで性能向上に顕著な寄与をしていることが確認された。