[論文レビュー] FishEyeRecNet: A Multi-Context Collaborative Deep Network for Fisheye Image Rectification

Xiaoqing Yin, Xinchao Wang+4 more|arXiv (Cornell University)|Apr 13, 2018

Optical measurement and interference techniques参考文献 14被引用数 6

ひとこと要約

本稿では、低レベルの外観特徴と高レベルの意味的セグメンテーションを統合することで、歪みパラメータの同時推定とフィッシュアイ画像の補正を実現するエンドツーエンドのディーブラーニングフレームワーク、FishEyeRecNetを提案する。意味的ガイダンスを用いたマルチコンテキスト協調ネットワークを活用することで、合成および実世界のフィッシュアイデータセットの両方で最先端の性能を達成し、従来のハンドクラフト特徴ベースの手法よりも定量的指標および定性的な結果で優れている一方で、リアルタイムの推論速度を維持している。

ABSTRACT

Images captured by fisheye lenses violate the pinhole camera assumption and suffer from distortions. Rectification of fisheye images is therefore a crucial preprocessing step for many computer vision applications. In this paper, we propose an end-to-end multi-context collaborative deep network for removing distortions from single fisheye images. In contrast to conventional approaches, which focus on extracting hand-crafted features from input images, our method learns high-level semantics and low-level appearance features simultaneously to estimate the distortion parameters. To facilitate training, we construct a synthesized dataset that covers various scenes and distortion parameter settings. Experiments on both synthesized and real-world datasets show that the proposed model significantly outperforms current state of the art methods. Our code and synthesized dataset will be made publicly available.

研究の動機と目的

• ハンドクラフト特徴ベースの手法が、表現力に限界があるため、フィッシュアイ画像補正において信頼性の低い結果をもたらすという限界を是正すること。
• 低レベルおよび高レベルの特徴を併用して、歪みパラメータの推定と画像補正を同時に実行するエンドツーエンドで学習可能なディープニューラルネットワークの開発。
• 特に人工構造物と自然物を区別するのに役立つように、補正プロセスに意味的理解を統合すること。
• 効果的な学習のための高品質で多様な合成フィッシュアイデータセットを構築し、正解の補正画像およびシーンパーサーのラベルを含める。
• 仮想現実、監視、自律走行などの実用的なコンピュータビジョンアプリケーションに適した、リアルタイムかつ高精度な補正を実現すること。

提案手法

• モデルは、3つのサブネットワークを備えたマルチコンテキスト協調アーキテクチャを採用している：特徴抽出バックボーン、高レベルの意味的セマンティクスを学習するシーンパーサー、歪みパラメータ推定ネットワーク。
• 低レベル特徴はディープCNNによって抽出され、高レベルの意味的知識はシーンパーサー分岐によって学習され、歪み推定をガイドする。
• 低レベル特徴と意味的監視の融合を用いて歪みパラメータを推定することで、フィッシュアイ画像形成のより正確なモデリングが可能になる。
• 微分可能歪み補正レイヤーが、推定されたパrametersを用いて入力画像とシーンパーサーマップを同時に変形処理する。
• 合成データセット上で再構成損失とセグメンテーション損失の両方を組み合わせた損失関数を用いて、ネットワーク全体をエンドツーエンドで学習する。
• 合成データセットは、ADE20Kからさまざまなフィッシュアイ歪みモデルを適用し、調整可能なパラメータを用いることで生成され、多様性と現実性が向上している。

実験結果

リサーチクエスチョン

• RQ1 Appearanceと意味的特徴を同時に学習するディーブラーニングモデルは、従来のハンドクラフト特徴ベースの手法よりも、フィッシュアイ画像補正において優れた性能を発揮できるか？
• RQ2 意味的監視は、フィッシュアイ画像における歪みパラメータ推定の精度をどのように向上させるか？
• RQ3 シーンパーサーの統合は、特に複雑な都市部のシーンにおいて、補正画像の品質をどの程度向上させるか？
• RQ4 多様な歪みパラメータと意味的ラベルを備えた合成データセットは、汎用的な補正モデルの学習に効果的か？
• RQ5 提案されたエンドツーエンドで、マルチコンテキスト協調ネットワークは、高精度を維持しながらリアルタイム推論を達成できるか？

主な発見

• 提案されたFishEyeRecNetは、合成および実世界のフィッシュアイデータセットの両方で優れた性能を発揮し、PSNRおよびSSIM指標においてSOTA手法を上回っている。
• 意味的ガイダンスの導入により、建物や車両などの人工構造物の直線的な境界をよりよく保持するよう補正品質が向上している。
• シーンパーサーモジュールがなくても、既存の手法を上回る性能を発揮するが、意味的ガイダンスの導入によりさらなる性能向上が達成されている。
• K80 GPU上で1.31秒の実行時間であり、[10]や[15]のような反復的アプローチ（CPU上で60秒以上）よりも著しく高速である。
• 合成データセットにより効果的な学習が可能であり、一般的な意味的カテゴリに対して良好な一般化性能を示しているが、未学習クラスへの対応は依然として課題である。
• 多様なシーンおよび歪みパラメータにわたり、頑健な性能を示しており、定性的な結果から複雑な歪みの正確な補正が可能であることが確認されている。