[論文レビュー] HDRUNet: Single Image HDR Reconstruction with Denoising and Dequantization

Xiangyu Chen, Yihao Liu+3 more|arXiv (Cornell University)|May 27, 2021

Image Enhancement Techniques参考文献 53被引用数 6

ひとこと要約

HDRUNetは、1枚の8ビットLDR入力から同時にノイズ除去とデキューイングを実行する空間的動的エンコーダ・デコーダネットワークを提案する。UNetスタイルのベースネットワーク、パターン固有の変調を行うための条件ネットワーク、特徴保持のための重み付けネットワークに加え、新規のTanh_L1損失関数を統合することで、最先端の性能を達成し、NTIRE2021 HDRチャレンジで2位を獲得。PSNR-μ（34.74 dB）と視覚的品質の両面で優れた結果を示した。

ABSTRACT

Most consumer-grade digital cameras can only capture a limited range of luminance in real-world scenes due to sensor constraints. Besides, noise and quantization errors are often introduced in the imaging process. In order to obtain high dynamic range (HDR) images with excellent visual quality, the most common solution is to combine multiple images with different exposures. However, it is not always feasible to obtain multiple images of the same scene and most HDR reconstruction methods ignore the noise and quantization loss. In this work, we propose a novel learning-based approach using a spatially dynamic encoder-decoder network, HDRUNet, to learn an end-to-end mapping for single image HDR reconstruction with denoising and dequantization. The network consists of a UNet-style base network to make full use of the hierarchical multi-scale information, a condition network to perform pattern-specific modulation and a weighting network for selectively retaining information. Moreover, we propose a Tanh_L1 loss function to balance the impact of over-exposed values and well-exposed values on the network learning. Our method achieves the state-of-the-art performance in quantitative comparisons and visual quality. The proposed HDRUNet model won the second place in the single frame track of NITRE2021 High Dynamic Range Challenge.

研究の動機と目的

• 1枚の低ダイナミックレンジ（LDR）画像から高ダイナミックレンジ（HDR）画像を再構成する課題に取り組み、同時にノイズと量子化誤差を処理すること。
• 既存手法がダイナミックレンジ拡張にのみ焦点を当て、露出が適切な領域におけるノイズや量子化による劣化を無視するという限界を克服すること。
• 過露出領域の微細なディテールの回復と、露出が適切な領域におけるアーティファクトの低減を可能にする、エンドツーエンドのディープラーニングフレームワークの開発。
• 新規の損失関数により、高輝度領域と通常の輝度領域の学習への影響をバランスさせることで、訓練の安定性と性能を向上させること。
• ベンチマーク評価とコンテスト参加を通じて、1枚の画像からのHDR再構成において、定量的・定性的に最先端の結果を達成すること。

提案手法

• HDRUNetを提案する。空間的動的エンコーダ・デコーダアーキテクチャで、3つの主要な構成要素を有する：多スケール特徴抽出のためのUNetスタイルのベースネットワーク、パターン固有の変調を行うためのSFT（空間的適応型特徴変換）層を用いた条件ネットワーク、および特徴保持のための適応的重み付けネットワーク。
• 予測されたHDR値をハイパボリックタンジェント関数を用いて[0, 1]に正規化した後、L1損失を計算する新規の損失関数、Tanh_L1を導入。これにより、訓練中に過露出領域と露出適切な領域の影響がバランスされる。
• マルチステージの訓練戦略を採用。まず、大規模なLDR-HDRデータセット上でベースネットワークを事前学習し、その後、すべての構成要素を共同最適化する。
• ネットワーク内にリーマン型学習パラダイムを適用することで、低輝度および高輝度領域における訓練の安定性と特徴表現の向上を図る。
• 可視化にはガンマ補正とμ-lawトーンマッピングを適用。定量的評価にはPSNR-L（高輝度値の正確性）とPSNR-μ（視覚的類似性）を用いる。
• 実世界のノイズと量子化アーティファクトを含む独自のLDR-HDRデータセットを用いて訓練および評価することで、現実的なベンチマーク条件を確保する。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークが、1枚のLDR画像からHDR画像を再構成すると同時に、出力のノイズ除去とデキューイングを効果的に行えるか？
• RQ2 空間的に変化するノイズおよび量子化パターンに対応できるように、ネットワークはどのように設計すべきか？
• RQ3 標準的なL1またはL2損失と比較して、Tanh_L1のような新規損失関数は、高輝度領域と通常の輝度領域の再構成のバランスをどの程度改善するか？
• RQ4 HDR再構成、ノイズ除去、デキューイングを同時に最適化することで、これらのタスクを別々に処理する手法を上回る性能が得られるか？
• RQ5 条件モジュールおよび重み付けモジュールを備えた空間的動的アーキテクチャは、視覚的品質および定量的指標において明確な向上をもたらすか？

主な発見

• HDRUNetはベンチマークデータセットでPSNR-μ 34.02 dBを達成し、HDRCNN（26.05 dB）やDeep SR-ITM（26.25 dB）を上回る性能を示した。
• PSNR-Lは41.61 dBを記録し、高輝度値の回復精度が高く、この指標でも上位のパフォーマンスを示した。
• NTIRE2021 HDRチャレンジの1フレームトラックで、PSNR-μ 34.736 dBを記録し、2位にランクイン。1位の手法と0.07 dBの差で僅差を詰めた。
• トップランク手法（0.53秒対61.52秒）の116倍速く実行され、アンサンブル技術を用いないにもかかわらず高い推論効率を示した。
• 定性的な結果から、HDRUNetは過露出領域の微細なディテールの回復に成功し、露出適切な領域におけるノイズと量子化アーティファクトの著しい低減が確認された。
• Tanh_L1損失関数は、標準的なL1およびL2損失と比較して、より優れた視覚的品質とPSNR-μの向上をもたらし、輝度レベルに応じた学習ダイナミクスのバランスの有効性が裏付けられた。