[論文レビュー] Learning an Inverse Tone Mapping Network with a Generative Adversarial Regularizer

Shiyu Ning, Hongteng Xu+3 more|arXiv (Cornell University)|Apr 20, 2018

Image Enhancement Techniques参考文献 12被引用数 3

ひとこと要約

本論文は、U-Net生成器とCNN識別器を備えた生成的敵対ネットワーク（GAN）を用いて、低ダイナミックレンジ（LDR）画像を高ダイナミックレンジ（HDR）画像に変換する深層学習ベースの逆トーンマッピングネットワーク（iTMN）を提案する。コンテンツ損失と敵対的正則化を同時に最適化することで、HDR-VDP-2、mPSNR、SSIMの指標において、既存手法を上回る最先端のHDR再構築品質を達成した。

ABSTRACT

Transferring a low-dynamic-range (LDR) image to a high-dynamic-range (HDR) image, which is the so-called inverse tone mapping (iTM), is an important imaging technique to improve visual effects of imaging devices. In this paper, we propose a novel deep learning-based iTM method, which learns an inverse tone mapping network with a generative adversarial regularizer. In the framework of alternating optimization, we learn a U-Net-based HDR image generator to transfer input LDR images to HDR ones, and a simple CNN-based discriminator to classify the real HDR images and the generated ones. Specifically, when learning the generator we consider the content-related loss and the generative adversarial regularizer jointly to improve the stability and the robustness of the generated HDR images. Using the learned generator as the proposed inverse tone mapping network, we achieve superior iTM results to the state-of-the-art methods consistently.

研究の動機と目的

• 従来のiTM手法がヒューリスティックで線形的またはセグメンテッドなマッピングに依存し、色相相関が悪く過露出の問題を抱えるという限界を解消すること。
• LDRからHDRへの複雑な非線形な逆トーンマッピングを高忠実度で学習可能なエンドツーエンドのディープラーニングフレームワークを構築すること。
• 生成されたHDR画像のロバスト性と視覚的品質を向上させるために、生成されたHDR画像の分布を実際のHDRデータと一致させる生成的敵対正則化を組み込むこと。
• 敵対的学習が標準のMSEベースの学習と比較して収束性と安定性を向上させることを示すこと。

提案手法

• スキップ接続により空間的詳細を保持するU-Netベースの生成器を、入力LDR画像をHDR出力にマッピングするように学習する。
• 実際のHDR画像と生成された画像を区別するシンプルなCNNベースの識別器を学習し、敵対的フィードバックを提供する。
• 生成器は、コンテンツベースのMSE損失と識別器の出力から導出される敵対的正則化の両方を組み合わせた損失関数で最適化される。
• 学習は交互最適化スキームに従う：まず実HDR画像と偽HDR画像で識別器を更新し、次に生成器をコンテンツ損失と敵対的損失の両方を最小化するように更新する。
• 目的関数は min_G max_D λℒ_G(L,H) + ℛ_{G,D}(L,H) として定式化され、ℒ_G はコンテンツ損失、ℛ_{G,D} は敵対的正則化を表す。
• 高周波数領域における構造的一致性を向上させるために、勾配に基づくdMSE損失を組み込む。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、従来の手法と比較して、逆トーンマッピングの視覚的品質と構造的一致性を向上させることができるか？
• RQ2 生成的敵対正則化の導入が、HDR生成プロセスの安定性と収束性に与える影響は何か？
• RQ3 提案手法は、知覚的および客観的指標において、最先端のiTM技術をどの程度上回るか？
• RQ4 組み合わせ損失関数において最適なハイパーパrameter設定（例：λ, α）は何か？

主な発見

• 提案されたiTMNはHDR-VDP-2スコア73.77を達成し、次に優れた手法（72.47）を顕著に上回り、優れた知覚的品質を示した。
• mPSNRは21.61を記録し、次に優れた手法（20.62）を上回り、ピクセルレベルの歪みが小さいことを示した。
• SSIMスコア0.8098は、生成されたHDR画像が構造的整合性を競合手法（DrTM：0.7968、KO：0.6459）よりもよく保っていることを確認した。
• アブレーションスタディの結果、dMSE損失（NoDMSE）や敵対的正則化（NoAdvReg）を削除すると性能が低下し、両者の有効性が裏付けられた。
• 収束曲線（図2h）から、敵対的正則化を組み込むことで損失関数の収束がより速くかつ安定することが示された。
• 最適なハイパーパrameterはλ = 10^4およびα = 10^5と特定され、表2の全指標で最高のパフォーマンスを発揮した。