[論文レビュー] Multi-Exposure Image Fusion Based on Exposure Compensation

Yuma Kinoshita, Taichi Yoshida+2 more|arXiv (Cornell University)|Jun 23, 2018

Image Enhancement Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、露出補正と局所コントラスト強調を融合前に入力画像の品質を向上させるために用い、線形カメラ応答モデルを用いて露出値の関係に基づき輝度を調整する、マルチ露出画像統合手法を提案する。従来手法と比較して、TMQI、統計的自然性、離散エントロピーのスコアが向上しており、画像品質が向上していることが実証されている。

ABSTRACT

This paper proposes a novel multi-exposure image fusion method based on exposure compensation. Multi-exposure image fusion is a method to produce images without color saturation regions, by using photos with different exposures. However, in conventional works, it is unclear how to determine appropriate exposure values, and moreover, it is difficult to set appropriate exposure values at the time of photographing due to time constraints. In the proposed method, the luminance of the input multi-exposure images is adjusted on the basis of the relationship between exposure values and pixel values, where the relationship is obtained by assuming that a digital camera has a linear response function. The use of a local contrast enhancement method is also considered to improve input multi-exposure images. The compensated images are finally combined by one of existing multi-exposure image fusion methods. In some experiments, the effectiveness of the proposed method are evaluated in terms of the tone mapped image quality index, statistical naturalness, and discrete entropy, by comparing the proposed one with conventional ones.

研究の動機と目的

• マルチ露出画像統合における最適露出値の選定という課題に取り組む。これは、時間的制約や動的シーンのため、実用的に困難である。
• 線形カメラ応答モデルを用いて露出差を補正することで、統合前の入力マルチ露出画像の品質を向上させる。
• 局所コントラスト強調とトーンマッピングを用いて画像品質を向上させ、過剰・不足露出領域のコントラストと視認性を向上させ、過剰色調やぼやけのアーチファクトを低減する。
• HDR再構築、CRFキャリブレーション、露出保存の必要性を排除するため、統合パイプライン内で露出補正を活用する。
• TMQI、統計的自然性、離散エントロピーなどの定量的指標を用いて、提案手法の優位性を評価する。

提案手法

• 本手法は、露出値（EV）と画素値の関係を線形カメラ応答関数でモデル化し、画素値が露出に線形に比例すると仮定する（I_i(p) = 2^{v_i} * I_0(p)）。
• 入力画像は、基準露出（0 EV）を基準として、各画像の露出値（EV）に応じた画素値のスケーリングにより露出補正が施され、輝度正規化が可能になる。
• 統合前に、不足露出・過剰露出領域の可視性と詳細を向上させるために、局所コントラスト強調が適用される。
• 補正済み画像は、Mertens, Sakai, Nejati などの既存のマルチ露出統合手法を用いて統合され、最終的なLDR出力が生成される。
• HDR再構築やCRFキャリブレーションを回避するため、露出補正済み入力を直接操作する。
• 本手法は、トーンマップ画像品質指標（TMQI）、統計的自然性、離散エントロピーを定量的指標として用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 線形カメラ応答モデルに基づく露出補正は、マルチ露出画像間での輝度正規化を効果的に行い、統合品質の向上に寄与するか？
• RQ2 入力画像に対する局所コントラスト強調は、統合出力の視認性と高い定量的指標スコアをもたらすか？
• RQ3 提案手法は、TMQI、統計的自然性、離散エントロピーの観点から、従来のマルチ露出統合手法と比較してどのように差をつけるか？
• RQ4 本手法は、特に動的シーンにおいて、正確な露出設定に依存する必要を軽減できるか？
• RQ5 元の画像が著しく不足・過剰露出である場合、露出補正が画像品質にどの程度向上効果をもたらすか？

主な発見

• 60枚のテスト画像を用いた結果、提案手法は平均TMQIスコア0.8713を達成し、従来手法（例：Nejati [10] では0.8703）を上回った。
• シミュレーション1では、統計的自然性スコアが著しく向上し、提案手法の平均は0.4439であったのに対し、Nejati [10] は0.4421、Sakai [9] は0.3919であった。
• シミュレーション2では、「Corridor」画像において提案手法が離散エントロピー7.533を達成し、Mertens [5] の7.524およびNejati [10] の7.535を上回った。これは詳細の保持が優れていることを示している。
• 「Lobby」画像では、統計的自然性がNejati [10] の0.0054から0.5541に向上した。これは暗いシーンにおける視認性回復が有効に機能したことを示している。
• 従来手法がほとんど見えない出力を生成する極めて暗いシーン（例：「Lobby」画像）においても、提案手法は強化された入力画像による明るさとコントラストの向上により、画像品質を向上させた。
• 両シミュレーションにおいて、提案手法はTMQI、統計的自然性、離散エントロピーという3つの評価指標において、すべての従来手法を上回った。