[論文レビュー] Rank-One Prior: Toward Real-Time Scene Recovery

Jun Liu, Ryan Wen Liu+2 more|arXiv (Cornell University)|Mar 31, 2021

Image Enhancement Techniques参考文献 52被引用数 6

ひとこと要約

本稿では、強度投影を用いて透過率を推定するランク1透過率事前分布を用いたリアルタイムなシーン回復手法を提案する。この手法により、曇り、水中、砂嵐による劣化画像の効率的かつロバストな回復が可能となり、1枚あたりO(N)の計算量で実現され、最先端の手法を上回る速度、視覚的品質、自然さを維持しながらリアルタイム性能を達成する。

ABSTRACT

Scene recovery is a fundamental imaging task for several practical applications, e.g., video surveillance and autonomous vehicles, etc. To improve visual quality under different weather/imaging conditions, we propose a real-time light correction method to recover the degraded scenes in the cases of sandstorms, underwater, and haze. The heart of our work is that we propose an intensity projection strategy to estimate the transmission. This strategy is motivated by a straightforward rank-one transmission prior. The complexity of transmission estimation is $O(N)$ where $N$ is the size of the single image. Then we can recover the scene in real-time. Comprehensive experiments on different types of weather/imaging conditions illustrate that our method outperforms competitively several state-of-the-art imaging methods in terms of efficiency and robustness.

研究の動機と目的

• 濃霧、水中、砂嵐などの悪天候条件下におけるリアルタイムなシーン回復の課題に対処すること。
• 大規模なペairedデータセットを必要とする深層学習ベースの手法の限界を克服し、データ効率的で物理的原理に基づいた代替手法を提案すること。
• 多様な劣化タイプにわたり、計算的に効率的かつ効果的な透過率推定手法を開発すること。
• 従来の事前分布ベースおよび学習ベースの手法と比較して、コントラスト、彩度、シャープネスの観点から視覚的品質を向上させること。

提案手法

• 画像全体の環境光を統一されたスペクトルとしてモデル化できるという仮定に基づき、ランク1透過率事前分布を提案する。
• 観測画像のスペクトルを統一された環境光スペクトルに投影することで、透過率を推定する強度投影を用いる。
• 統一されたスペクトルを用いた線形近似として透過率推定を定式化し、計算量をO(N)（Nは画像サイズ）に低減する。
• 全体の画像からグローバルな環境光Aを推定し、統一されたスペクトルを定義することで、ロバストな透過率計算を可能にする。
• 物理的画像形成モデル I(x) = t(x)J(x) + t̃(x)A に基づき、強度投影から得た t(x) を用いて、シーンラディアンス J を再構築する。
• 学習データや複雑なネットワークを必要とせず、エンドツーエンドでリアルタイムに劣化画像を回復する手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ランク1透過率事前分布は、リアルタイムなシーン回復における高速かつ正確な透過率推定を可能にするか？
• RQ2 統一された環境光スペクトルに基づく強度投影戦略は、ダークチャネル事前分布などの既存の事前分布と比較して、ロバスト性と効率性において優れているか？
• RQ3 学習を伴わない物理的ベースの手法は、砂嵐画像のような低データレジームにおいて、深層学習ベースの手法をどれほど上回れるか？
• RQ4 本手法は、濃霧、水中、砂嵐といった多様な劣化タイプにおいて、最先端の手法と比較して自然な色あざやかさとコントラストをよりよく保持できるか？

主な発見

• 提案手法はO(N)の計算量でリアルタイム性能を達成しており、動画監視や自動運転への実用的導入に適している。
• 視覚的結果では、DCP、MSCNN、LDCP、AODNetと比較して、彩度、シャープネス、コントラストが優れており、特に空域において顕著である。
• 除霧結果における空の色合いは、DCPが生成する不自然な青みがかった空やLDCPが生み出す非現実的な結果と比較して、より自然で現実的である。
• DCPがゼロ強度ピクセルが不足するため失敗する大規模な空域の処理においても、本手法はDCPおよびLDCPを上回る性能を示す。
• RESIDEデータセットにおける結果は、トレーニングデータを一切必要としないにもかかわらず、MSCNN や AODNet といった深層学習ベースの手法と同等の性能を示している。
• 本手法は、曇り、水中、砂嵐といった多様な劣化タイプにわたり、一貫した視覚的品質の向上を示し、高いロバスト性を示している。