[論文レビュー] Depth Estimation on Underwater Omni-directional Images Using a Deep Neural Network

Haofei Kuang, Qingwen Xu+1 more|arXiv (Cornell University)|May 22, 2019

Advanced Vision and Imaging参考文献 26被引用数 4

ひとこと要約

本稿では、地上用の事前学習済み FCRN を経度・緯度マッピングによって変換することで、水中の全方向画像から深度推定を行う球面的完全畳み込み残差ニューラルネットワーク（球面 FCRN）を提案する。合成水中データセットを用いて、合成データ上では妥当な深度推定性能を達成したが、画像スタイルや深度範囲のドメインシフトのため、実世界の水中画像への一般化性能は限定的である。

ABSTRACT

In this work, we exploit a depth estimation Fully Convolutional Residual Neural Network (FCRN) for in-air perspective images to estimate the depth of underwater perspective and omni-directional images. We train one conventional and one spherical FCRN for underwater perspective and omni-directional images, respectively. The spherical FCRN is derived from the perspective FCRN via a spherical longitude-latitude mapping. For that, the omni-directional camera is modeled as a sphere, while images captured by it are displayed in the longitude-latitude form. Due to the lack of underwater datasets, we synthesize images in both data-driven and theoretical ways, which are used in training and testing. Finally, experiments are conducted on these synthetic images and results are displayed in both qualitative and quantitative way. The comparison between ground truth and the estimated depth map indicates the effectiveness of our method.

研究の動機と目的

• ぼやけ、色調のずれ、散乱効果に起因する画像品質の低下が生じる水中環境における深度推定の課題に対処すること。
• データ駆動および理論的手法を用いて合成することで、実際の水中全方向画像データセットの不足を補うこと。
• 球面座標マッピングを用いて、事前学習済みの地上用深度推定ネットワーク（FCRN）を全方向水中画像に適応させること。
• 合成および実世界の水中データセット上で適応ネットワークの性能を評価し、一般化能力を評価すること。

提案手法

• 水中の色調のずれやぼかしを模倣するスタイル変換ネットワーク（WaterGAN）を用いて合成された水中パースペクティブ画像上で従来の FCRN を学習する。
• 全方向カメラを球面としてモデル化し、画像を経度・緯度座標に投影することで、パースペクティブ FCRN を球面 FCRN に変換する。
• 球面座標マッピングを適用し、標準的な畳み込み層が歪みなく全方向画像特徴を処理できるようにする。
• 大規模な全方向画像入力サイズに起因する計算制約のため、ResNet-50 の代わりに ResNet-18 を使用した改良版 FCRN を採用する。
• 地上の全方向画像に深度依存のぼかしと赤成分の減衰を適用することで、全方向水中画像を合成する。
• 対応する真値深度マップを用いて、合成された全方向水中画像上で球面 FCRN をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの地上用深度推定ネットワーク（FCRN）を、水中の全方向画像に効果的に適応できるか？
• RQ2 球面 FCRN は、パースペクティブ画像と比較して、合成水中全方向画像上でどれほど良好な性能を示すか？
• RQ3 合成データで学習したネットワークを実世界の水中全方向画像に転送する際の制限要因は何か？
• RQ4 球面 FCRN の深度推定精度および推論速度は、元の FCRN と比較してどの程度異なるか？
• RQ5 画像の色調、ぼかし、深度範囲の違いといったドメインシフトが、モデルの実データへの一般化に及ぼす影響はどの程度か？

主な発見

• 従来の FCRN は合成水中パースペクティブ画像上で優れた性能を示し、RMSE が 0.162、MAE が 0.117、REL が 0.098、δ₁ が 0.914 を達成した。
• 球面 FCRN は合成水中全方向画像上でも妥当な結果を示し、RMSE が 0.604、MAE が 0.362、REL が 0.172、δ₁ が 0.711 を達成した。
• 全方向画像上では性能が低くても、球面 FCRN は大多数の画素に対して深度を適切に推定できており、球面適応アプローチの有効性を示している。
• Berman らの実世界水中画像を用いたテストでは性能が劣化し、一部の領域で誤った予測が生じた。これは、色調や深度範囲のドメインシフトに起因すると考えられる。
• GPU 上での1枚あたりの平均推論時間は 0.0145 秒であり、モデルの複雑さを考慮しても効率的な推論が可能であることを示している。
• 合成データと実データの間の性能格差は、より多様な合成データと実世界データを用いたファインチューニングによるモデルの耐障害性向上の必要性を示唆している。