[論文レビュー] Deep Inverse Tone Mapping Using LDR Based Learning for Estimating HDR Images with Absolute Luminance

Yuma Kinoshita, Hitoshi Kiya|arXiv (Cornell University)|Feb 28, 2019

Image Enhancement Techniques参考文献 20被引用数 4

ひとこと要約

本論文では、リヒャードのグローバル演算子を用いてマッピングされたLDR画像を用いてCNNを訓練する深層学習ベースの逆トーンマッピング手法を提案する。これにより、絶対輝度を有するHDR画像の推定が可能となる。この演算子の逆変換を学習することで、HDR-VDP-2.2およびPU符号化＋MS-SSIMの指標において最先端の手法を上回るHDR品質を達成するが、HDR特化の損失関数やマルチエクposure入力を必要としない。

ABSTRACT

In this paper, a novel inverse tone mapping method using a convolutional neural network (CNN) with LDR based learning is proposed. In conventional inverse tone mapping with CNNs, generated HDR images cannot have absolute luminance, although relative luminance can. Moreover, loss functions suitable for learning HDR images are problematic, so it is difficult to train CNNs by directly using HDR images. In contrast, the proposed method enables us not only to estimate absolute luminance, but also to train a CNN by using LDR images. The CNN used in the proposed method learns a transformation from various input LDR images to LDR images mapped by Reinhard's global operator. Experimental results show that HDR images generated by the proposed method have higher-quality than HDR ones generated by conventional inverse tone mapping methods,in terms of HDR-VDP-2.2 and PU encoding + MS-SSIM.

研究の動機と目的

• 生成されたHDR画像における絶対輝度の推定ができない既存のCNNベースの逆トーンマッピング手法の限界を解消すること。
• HDRデータの広いダイナミックレンジと非線形応答のため、直接HDR画像の学習に適した損失関数を設計することが難しいという課題を克服すること。
• HDR-LDRペアデータやマルチエクposure入力が不要な、LDR画像のみを用いたエンドツーエンドのCNN訓練を可能にすること。
• 単純なネットワークアーキテクチャを維持しつつ、正確な絶対輝度を有する高品質なHDR再構築を実現すること。

提案手法

• CNNは、リヒャードのグローバル演算子を用いてトーンマップされたLDR画像へのマッピングを学習する。この演算子はパラメータが既知であれば可逆である。
• リヒャードの演算子の可逆性を活用する。CNNがトーンマップされたLDR出力を予測した後、逆変換を適用することで絶対輝度を有するHDR画像を回復する。
• 重要なパラメータ（明るさ係数 $a$ および幾何平均 $G(E)$）は、LDR出力と入力から推定され、$E'_{i,j} = \frac{G(E)}{a} \cdot \frac{I_{i,j}}{1 - I_{i,j}}$ を用いて放射照度 $E$ を再構築する。
• 損失関数は標準的なピxls単位の回帰（例：L1またはL2）をLDRドメインで計算するため、複雑なHDR特化の損失関数を回避する。
• ネットワークアーキテクチャは、スキップ接続を備えたU-Netに類似したエンコーダ-デコーダ構造であり、Adam最適化法（$\alpha=0.002$, $\beta_1=0.5$, $\beta_2=0.999$）を用いて最適化される。
• マルチエクposureの監視や明示的なHDR監視を回避し、LDRベースの学習に依存する。

実験結果

リサーチクエスチョン

• RQ1 LDR画像のみで学習したCNNが、正確な絶対輝度を有するHDR画像を生成できるか？
• RQ2 リヒャードのトーンマップされたLDR出力への変換を学習することで、直接HDR学習やマルチエクposure手法よりも優れたHDR再構築が可能になるか？
• RQ3 提案手法が、客観的および主観的品質指標の両面で最先端の逆トーンマッピング技術を上回るか？
• RQ4 マルチステージ学習や複雑なアーキテクチャを必要とする既存のCNNベースの手法と比較して、本手法はより効率的かつ単純か？

主な発見

• 提案手法は、全7枚のテスト画像においてHDR-VDP-2.2スコアが最高を記録し、最大61.49（画像7）を達成。Direct ITMO（44.77）およびDrTMO（43.82）を大きく上回った。
• PU符号化＋MS-SSIM評価では、全画像で最高スコアを記録。画像7では0.9804を達成。PMET（0.6997）およびDrTMO（0.6042）を上回った。
• 視覚的比較では、提案手法はDirect ITMOやPMETと比較して、暗所領域の微細なディテールをより良く保持していた。一方、DrTMOの過露出出力では色歪みが見られた。
• DrTMOが3次元デコンボリューションネットワークを2つ使用していたのに対し、本手法はより単純なネットワークアーキテクチャで優れた品質を達成した。
• 結果から、リヒャードの演算子による逆トーンマッピングを用いたLDRベースの学習が、HDR監視なしに正確な絶対輝度推定を可能にすることが確認された。
• 知られている可逆なトーンマッピング関数を用いたLDRドメインでの学習は、直接HDR学習の代替として実用的かつ効果的であることが示された。