[論文レビュー] A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement

Zhenqiang Ying, Ge Li+1 more|arXiv (Cornell University)|Nov 2, 2017

Image Enhancement Techniques参考文献 36被引用数 248

ひとこと要約

この論文は、低照度改善のための生体嗜性のマルチ露出融合フレームワークを提示します。露出を2重に推定し、カメラ応答モデルを用いて適切に露出された画像を合成し、それを入力画像と学習済みの重みマップを用いて融合することで、コントラストと明度のゆがみを低減するデュアル露出融合アルゴリズムを導入します。

ABSTRACT

Low-light images are not conducive to human observation and computer vision algorithms due to their low visibility. Although many image enhancement techniques have been proposed to solve this problem, existing methods inevitably introduce contrast under- and over-enhancement. Inspired by human visual system, we design a multi-exposure fusion framework for low-light image enhancement. Based on the framework, we propose a dual-exposure fusion algorithm to provide an accurate contrast and lightness enhancement. Specifically, we first design the weight matrix for image fusion using illumination estimation techniques. Then we introduce our camera response model to synthesize multi-exposure images. Next, we find the best exposure ratio so that the synthetic image is well-exposed in the regions where the original image is under-exposed. Finally, the enhanced result is obtained by fusing the input image and the synthetic image according to the weight matrix. Experiments show that our method can obtain results with less contrast and lightness distortion compared to that of several state-of-the-art methods.

研究の動機と目的

• 自然な明るさとコントラストを保持した低照度画像改善を動機づける。
• 単一入力から複数露出画像を生成・融合する人間の視覚系に触発されたフレームワークを提案する。
• illumination-based weighting とカメラ応答モデルを用いたデュアル露出融合アルゴリズムを開発する。
• 複数データセットにわたり、最先端手法と比べてコントラストと明度の歪みを低減することを示す。

提案手法

• マルチ露出サンプラー、ジェネレーター、エバリュエーター、コンバイナーの4部構成を導入する。
• 正則化最適化を解くことにより局所的一貫性のある照明を精緻化するシーン照明マップ T を推定する。
• Brightness Transform Function (BTF) g を二パラメータ形 g(P,k)=β P^γ でモデリングし、comparametric 方程式からカメラ応答関数 (CRF) f を導出して、g(P,k)=e^{b(1-k^{a})} P^{k^{a}} を得る。パラメータはカメラ特性から導出。
• 合成後の明るさチャネルのエントロピーを最大化して最適露出比 k を計算し、入力画像を合成された適正露出画像と重みマップ  で融合する。
• 効率化のため線形系による閉形式の照明マップ解を提供し、公開データセットで広範な実験を通じて検証する。

実験結果

リサーチクエスチョン

• RQ1 生体嗜性マルチ露出融合フレームワークは、露出を領域ごとにバランスさせることで低照度画像の改善を向上させるか。
• RQ2 照明推定とカメラ応答モデルを組み合わせて、単一の低照度入力から適切に露出された画像を合成できるか。
• RQ3 照明に基づく重みマップを用いたデュアル露出融合は、既存手法と比べてコントラストと明度の歪みを低減するか。

主な発見

• 提案手法 Ours は、複数データセットで MSRCR、Dong、NPE、LIME、MF、SRIE と比較して明度の歪み（LOE）を低く抑える。
• Visual Information Fidelity (VIF) の観点では、提案法が複数データセットでより高いスコアを達成し、視覚情報の保存が良好。
• DRIM による歪みが低く、コントラストの保持性が有利であることを示す。
• アプローチは、強化と自然さのバランスを取り、ハローアーティファクトやノイズを複数のベースラインと比較して低減する。
• 著者は競合的な計算時間を報告し、再現性のためのオープンソースコードを提供する。