[論文レビュー] Fast Single Image Dehazing via Multilevel Wavelet Transform based Optimization

Jiaxi He, Frank Xing+2 more|arXiv (Cornell University)|Apr 18, 2019

Image Enhancement Techniques参考文献 39被引用数 6

ひとこと要約

本稿では、多レベルハールウェーブレット変換に基づく最適化（MWTO）を用いた高速で高品質な単一画像の霞取り手法を提案する。大気光推定を経て非凸で双線形な霞取り問題を凸的で線形な最適化問題に変換し、低周波数ウェーブレットサブバンドにのみ最適化を適用することで、品質損失を最小限に抑えつつリアルタイム性能を達成し、速度および再構成忠実度の両面で最先端手法を上回る。

ABSTRACT

The quality of images captured in outdoor environments can be affected by poor weather conditions such as fog, dust, and atmospheric scattering of other particles. This problem can bring extra challenges to high-level computer vision tasks like image segmentation and object detection. However, previous studies on image dehazing suffer from a huge computational workload and corruption of the original image, such as over-saturation and halos. In this paper, we present a novel image dehazing approach based on the optical model for haze images and regularized optimization. Specifically, we convert the non-convex, bilinear problem concerning the unknown haze-free image and light transmission distribution to a convex, linear optimization problem by estimating the atmosphere light constant. Our method is further accelerated by introducing a multilevel Haar wavelet transform. The optimization, instead, is applied to the low frequency sub-band decomposition of the original image. This dimension reduction significantly improves the processing speed of our method and exhibits the potential for real-time applications. Experimental results show that our approach outperforms state-of-the-art dehazing algorithms in terms of both image reconstruction quality and computational efficiency. For implementation details, source code can be publicly accessed via http://github.com/JiaxiHe/Image-and-Video-Dehazing.

研究の動機と目的

• 既存の単一画像の霞取り手法に共通する計算非効率性および品質劣化（例：ハロ効果、過飽和）を解消する。
• 霞取り問題の非凸的で双線形な性質を再定式化することで凸最適化問題に変換する。
• 多レベル離散ハールウェーブレット変換（DHWT）を活用して次元削減を実現し、リアルタイムの霞取りを可能にする。
• 低周波数サブバンドでの最適化により、高品質な霞取りと低計算コストの両立を実現する。
• 追加データ（例：深度情報や偏光画像）に依存しないスケーラブルで物理的に根拠のあるソリューションを提供する。

提案手法

• 大気散乱モデルを用いて画像の霞取り問題を定式化し、霞なし画像と透過率マップを未知変数として扱う。
• 大気光定数を推定することで、双線形で非凸な問題を凸的で線形な最適化問題に変換する。
• 離散ハールウェーブレット変換（DHWT）を適用し、入力画像をサブバンドに分解し、低周波数成分に最適化を集中させる。
• 低周波数サブバンドに対して正則化最適化を実行し、次元削減された状態で霞なし画像を回復する。
• 逆離散ハールウェーブレット変換（IDHWT）を用いて最終的な霞取り画像を再構成する。
• 多レベルウェーブレット分解を活用することで、顕著な次元削減を達成し、処理を高速化しながらも主要な構造情報を保持する。

実験結果

リサーチクエスチョン

• RQ1 非凸的で双線形な霞取り問題を、安定性と収束性を向上させるために、凸最適化問題に効果的に変換できるか？
• RQ2 多レベルハールウェーブレット変換は、霞取り品質を損なわずに計算複雑度をどの程度低減できるか？
• RQ3 全画像最適化と比較して、低周波数サブバンドでの最適化は、処理速度と視覚的忠実度の面でどの程度優れるか？
• RQ4 提案手法は、標準的な画像および動画においてリアルタイム性能を達成しつつ、最先端の再構成品質を維持できるか？
• RQ5 既存の高速霞取りアルゴリズムと比較して、画像サイズおよび処理時間の観点から、本手法のスケーラビリティはいかがなものか？

主な発見

• 707×565の画像において、提案手法のMWTOは0.8秒の処理時間を達成し、Heの手法（14.5秒）およびBermanの手法（1.6秒）を上回る速度性能を示し、Bermanの手法平均時間の28％にまで短縮された。
• I-HAZEおよびO-HAZEデータセットにおいて、本手法は屋内でPSNR 16.619、屋外で15.347を達成し、屋内霞取りにおいてHeの手法（15.285）およびMengの手法（14.574）を上回った。
• 画像サイズに対して準線形の計算量（O(n)）またはピクセル数に対してO(√n)を示し、Zhuの手法やBermanの手法と比較して顕著に優れた性能を示した。
• 屋内で0.619、屋外で0.392のSSIM値は、特に屋内シーンにおいて構造的保持が優れていることを示している。
• 凸最適化フレームワークと物理モデルの根拠により、従来手法で見られる過飽和やハロアーティファクトが低減された。
• より高い計算能力を備えた環境では、352×240解像度でリアルタイム動画霞取りが成功し、実用的展開の可能性を示した。