[論文レビュー] Towards Rolling Shutter Correction and Deblurring in Dynamic Scenes

Zhihang Zhong, Yinqiang Zheng+1 more|arXiv (Cornell University)|Apr 4, 2021

Advanced Vision and Imaging参考文献 45被引用数 4

ひとこと要約

本論文は、動的シーンにおける同時ローリングシャッター補正とデブラーを実現する学習ベースの最初の手法、JCDを提案する。二方向ワープストリームを用いた運動補償と、可変アテンションモジュールを用いた詳細回復のための非ワープデブラー ストリームを組み合わせたものである。新しく提案されたBS-RSCDデータセットおよび合成Fastec-RSデータセットにおいて、定量的指標および視覚的品質の両面で、既存手法を上回る最先端の性能を達成している。

ABSTRACT

Joint rolling shutter correction and deblurring (RSCD) techniques are critical for the prevalent CMOS cameras. However, current approaches are still based on conventional energy optimization and are developed for static scenes. To enable learning-based approaches to address real-world RSCD problem, we contribute the first dataset, BS-RSCD, which includes both ego-motion and object-motion in dynamic scenes. Real distorted and blurry videos with corresponding ground truth are recorded simultaneously via a beam-splitter-based acquisition system. Since direct application of existing individual rolling shutter correction (RSC) or global shutter deblurring (GSD) methods on RSCD leads to undesirable results due to inherent flaws in the network architecture, we further present the first learning-based model (JCD) for RSCD. The key idea is that we adopt bi-directional warping streams for displacement compensation, while also preserving the non-warped deblurring stream for details restoration. The experimental results demonstrate that JCD achieves state-of-the-art performance on the realistic RSCD dataset (BS-RSCD) and the synthetic RSC dataset (Fastec-RS). The dataset and code are available at https://github.com/zzh-tech/RSCD.

研究の動機と目的

• 動的シーンにおける同時ローリングシャッター補正とデブラー（RSCD）のための現実的でないデータセットの欠如に対処すること。
• 既存のRSCおよびデブラー手法を併用した場合に生じる、両方の歪みとぼかしを処理する際のアーキテクチャ上の欠陥により失敗する問題を克服すること。
• 現実世界の動的シーンにおけるローリングシャッター補正とデブラーを効果的に統合する包括的なディーブラーニングモデルを開発すること。
• ビームスプリッター方式を用いて撮影された、現実的で包括的な新規データセット（BS-RSCD）を基盤として、今後の学習ベースのRSCD研究のベンチマークを確立すること。

提案手法

• ビームスプリッター方式を用いて、同時にローリングシャッター（RS）歪みとぼやけた動画、およびグローバルシャッター（GS）の正例を記録した、RSCDのための最初の現実世界ベンチマークであるBS-RSCDデータセットを提案する。
• 正確な変位補償のための二方向ワープストリームと、細部を保持するための非ワープデブラー ストリームを備えたJCDモデルを設計する。
• 複数スケールでワープストリームとデブラー ストリームの特徴を統合するために、可変アテンションモジュールを採用し、特徴の適応的集約を可能にする。
• リアルさと詳細回復の向上を目的として、L1、感知的（LPIPS）、敵対的損失を組み合わせたマルチスケール損失を用いて、エンドツーエンドの学習を実施する。
• 単方向アプローチよりも正確な動きフィールド推定が可能となる二方向ワープを適用し、幾何的整合性を向上させる。
• GSD手法で一般的に見られる幾何的歪みや、RSC手法で見られるぼかし回復の失敗を回避するため、処理パスを分離してから融合する、新規なアーキテクチャを提案する。

実験結果

リサーチクエスチョン

• RQ1 エゴモーションとオブジェクトモーションを含む動的シーンにおいて、ディーブラーニングモデルが同時にローリングシャッター歪みを補正し、運動ぼかしをデブラーする能力は果たして有効であるか？
• RQ2 二方向ワープと非ワープデブラー ストリームの統合は、単独のRSCまたはGSDネットワークと比較して、性能をどのように向上させるか？
• RQ3 提案された可変アテンションモジュールは、特徴統合をどの程度向上させ、幾何的構造と細部をどの程度保持するか？
• RQ4 現実世界のRSCDデータセットで学習したモデルは、未観測のカメラ機器や現実世界の動画シーケンスに一般化できるか？
• RQ5 LPIPSなどの感知的指標は、従来の指標（PSNR、SSIM）と比較して、RSCD性能の評価においてどの程度有効であるか？

主な発見

• JCDはBS-RSCDデータセットにおいて最先端の性能を達成し、PSNRが26.42 dB、SSIMが0.778、LPIPSが0.107を記録し、すべてのベースラインを上回った。
• Fastec-RSの合成データセットにおいても、JCDはPSNRが24.84 dB、SSIMが0.778、LPIPSが0.107を達成し、優れた一般化性能とロバストネスを示した。
• アブレーションスタディの結果、中間のデブラー ストリームを削除した場合（w/o ms）、BS-RSCDでPSNRが1.58 dB低下し、細部回復におけるその重要性が裏付けられた。
• 可変畳み込み層を削除した場合（w/o dcn）、BS-RSCDでLPIPSが0.011上昇した。これは、このコンponentsが幾何的アーティファクトを低減していることを示している。
• 単一のワープストリームのみを用いた場合（w/o bs）、BS-RSCDでPSNRが0.58 dB低下し、LPIPSが0.015上昇した。これは、二方向の動き推定が有効であることを示している。
• クロスカメラテストにより、FLIRおよびEOの第三者のカメラに対しても、モデルが良好に一般化していることが示され、強力なドメイン一般化能力を有していることが確認された。