[論文レビュー] Dual Pixel Exploration: Simultaneous Depth Estimation and Image Restoration

Liyuan Pan, S. A. H. Chowdhury+4 more|arXiv (Cornell University)|Dec 1, 2020

Image Processing Techniques and Applications参考文献 38被引用数 4

ひとこと要約

本稿では、デュアルピクセル（DP）センサの物理的イメージングプロセスをモデル化することで、二重ピクセル（DP）画像ペアから逆深度マップとシャープな画像を同時に推定するエンドツーエンドのディーブラーニングフレームワーク、DDDNetを提案する。物理的DPモデルに基づいて導出された再ぼかし損失（reblur loss）を導入し、深度推定を正則化することで、合成および実データセット上で最先端の性能を達成し、深度推定とデブラーイングの両面で優れた性能を発揮する。

ABSTRACT

The dual-pixel (DP) hardware works by splitting each pixel in half and creating an image pair in a single snapshot. Several works estimate depth/inverse depth by treating the DP pair as a stereo pair. However, dual-pixel disparity only occurs in image regions with the defocus blur. The heavy defocus blur in DP pairs affects the performance of matching-based depth estimation approaches. Instead of removing the blur effect blindly, we study the formation of the DP pair which links the blur and the depth information. In this paper, we propose a mathematical DP model which can benefit depth estimation by the blur. These explorations motivate us to propose an end-to-end DDDNet (DP-based Depth and Deblur Network) to jointly estimate the depth and restore the image. Moreover, we define a reblur loss, which reflects the relationship of the DP image formation process with depth information, to regularise our depth estimate in training. To meet the requirement of a large amount of data for learning, we propose the first DP image simulator which allows us to create datasets with DP pairs from any existing RGBD dataset. As a side contribution, we collect a real dataset for further research. Extensive experimental evaluation on both synthetic and real datasets shows that our approach achieves competitive performance compared to state-of-the-art approaches.

研究の動機と目的

• デュアルピクセル（DP）画像ペアにおける低基準点と重度のボケの影響により低下するステレオマッチングおよび深度推定性能を改善すること。
• ボケをノイズとして扱うのでなく、焦点ぼけ、深度、およびDPセンサの画像形成の間にある内在的関係を活用すること。
• 単一のDPスナップショットから逆深度とシャープな画像を同時に推定するエンドツーエンドのディープネットワークを構築すること。
• 任意のRGB-Dデータセットから、深度依存のぼかしとサブアパーチャー採用を適用することで、現実的なDPペアを生成可能な可微分DP画像シミュレータを開発すること。
• 今後の深度推定および画像修復研究を支援するため、実世界のDPデータセットを収集すること。

提案手法

• デュアルピクセルセンサのイメージングプロセスを通じて、深度、焦点ぼけ、およびすべてのフォーカスが合った画像を明示的に結びつける数学的DPモデルを構築する。
• DP画像ペアを入力とし、エンドツーエンドでデブラーイング画像と逆深度マップを出力する、共同エンコーダデコーダネットワークであるDDDNetを設計する。
• 推定された深度とデブラーイング画像から入力DP画像を再構築することで、トレーニング中の深度予測を正則化するDPモデルに基づく再ぼかし損失を導入する。
• 既存のRGB-Dデータセットに深度依存のぼかしとサブアパーチャー採用を適用することで、任意のRGB-Dデータセットから合成DPペアを生成可能な可微分DP画像シミュレータを開発する。
• シミュレータから得た合成データでDDDNetをトレーニングし、実データでファインチューニングすることで、再ぼかし損失を用いた自己教師付き適応を実現する。
• 再ぼかし損失を自己教師信号として用いることで、真値深度がなくてもドメイン一般化とファインチューニングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 デュアルピクセルセンサの物理的イメージングモデルを活用することで、同時に深度推定と画像デブラーイングの性能を向上させることは可能か？
• RQ2 DPペア内の焦点ぼけをノイズ源ではなく、信号として活用することで、深度推定にどのように寄与できるか？
• RQ3 可微分DP画像シミュレータは、実世界のシナリオへの一般化を可能にする現実的なトレーニングデータを生成できるか？
• RQ4 DPモデルに基づく再ぼかし損失を統合することで、より正確な深度およびデブラーイング予測が得られるか？
• RQ5 提案手法は、ファインチューニングなしで実データセットに一般化可能か？また、再ぼかし損失を用いた自己教師付きファインチューニングはどの程度有効か？

主な発見

• 合成データセットDPD-blurでは、再ぼかし損失を用いたDDDNetはファインチューニング後、PSNRが26.92 dB、SSIMが0.864、RMSE_relが4.51%を達成し、同じデータで直接トレーニングされたモデルを上回る性能を示した。
• 再ぼかし損失を用いることで、DeblurNetにおけるRMSE_relが0.091から0.083に低下し、相対的に約10%のデブラーイング性能向上が確認された。
• 合成DPシミュレータでトレーニングしたモデルは実データにも良好に一般化された。DPD-blurデータセットの半分でファインチューニングした後、20エポックでPSNRが26.52 dB、SSIMが0.822を達成した。
• DPD-dispデータセットでは、ファインチューニングなしで2番目の性能を達成し、再ぼかし損失を用いた自己教師付きファインチューニングにより、複数の最先端手法を上回った。
• 図8の定性的な結果から、DDDNetはDPDNet、BTS、DPdispなどのベースラインと比較して、よりシャープなデブラーイング画像とより正確な逆深度マップを生成している。
• 図8の(m)および(n)の誤差分布から、DDDNetの逆深度予測が、競合手法と比較して一貫して真値に近いことが確認された。