[論文レビュー] Deep Relighting Networks for Image Light Source Manipulation

Wang, Li-Wen, Wan-Chi Siu+3 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Vision and Imaging参考文献 37被引用数 4

ひとこと要約

本稿では、1枚の画像に対するリライトを3段階のプロセスとして定式化するDeep Relighting Network（DRN）を提案する。まず、バックプロジェクションを組み込んだオートエンコーダーによるシーン再構築、次に新しい照明方向を想定した敵対的シャドウプライアリ推定、最後にターゲットの照度下での画像生成の再レンダリングである。本手法は最先端の性能を達成し、AIM2020 Image Relighting Challengeで最高PSNRを記録した。

ABSTRACT

Manipulating the light source of given images is an interesting task and useful in various applications, including photography and cinematography. Existing methods usually require additional information like the geometric structure of the scene, which may not be available for most images. In this paper, we formulate the single image relighting task and propose a novel Deep Relighting Network (DRN) with three parts: 1) scene reconversion, which aims to reveal the primary scene structure through a deep auto-encoder network, 2) shadow prior estimation, to predict light effect from the new light direction through adversarial learning, and 3) re-renderer, to combine the primary structure with the reconstructed shadow view to form the required estimation under the target light source. Experimental results show that the proposed method outperforms other possible methods, both qualitatively and quantitatively. Specifically, the proposed DRN has achieved the best PSNR in the "AIM2020 - Any to one relighting challenge" of the 2020 ECCV conference.

研究の動機と目的

• 幾何的シーン事前知識や明示的な3D構造を必要としない1枚画像リライトの課題に対処すること。
• 1枚の画像内で光源の方向と色温度を同時に操作し、現実的な影と照度効果を生成すること。
• シーン構造と照度効果を分離することで、リライトにおける画像品質と構造的一致性を向上させること。
• 暗黙の光効果の監督信号に起因する学習の難しさを克服するため、シャドウ領域ディスクライマを導入すること。

提案手法

• DRNはバックプロジェクション層を統合した深層オートエンコーダーを用い、ダウンサンプリングおよびアップサンプリングの過程でも空間的詳細を保持しながら、1枚の画像から主なシーン構造を再構築する。
• シャドウプライアリ推定モジュールは、新規の光源方向および色温度から現実的な光効果を予測するために、新規のシャドウ領域ディスクライマを用いた敵対的学習を採用する。
• 再レンダラーは再構築されたシーン構造と予測されたシャドウプライアリを組み合わせ、ターゲット光源下での最終画像を生成する。
• ネットワークは、高精細なリライトを実現するため、ペルセプトアル損失と敵対的損失を用いてエンドツーエンドに訓練される。これにより、真の光効果がなくても高品質なリライトが可能となる。
• 特徴量学習の安定化と再構築忠実度の向上を図るため、バックプロジェクション理論をオートエンコーダーに統合する。
• 本手法は「任意の1つから1つへの」リライトタスクに特化しており、任意の入力照度を特定のターゲット光源設定に変換することを目的としている。

実験結果

リサーチクエスチョン

• RQ1 幾何的事前知識や3Dシーン情報がなくても、深層学習モデルが現実的なリライト効果を生成できるか？
• RQ2 明示的な監視が存在しない状況下で、新しい光源下での影効果を正確に予測・レンダリングできるか？
• RQ3 バックプロジェクション理論は、オートエンコーダー構造における特徴再構築を向上させ、より優れたリライト性能を実現できるか？
• RQ4 光効果が直接測定困難な状況下で、敵対的学習がリライト画像の現実性をどの程度向上できるか？
• RQ5 統一されたネットワークアーキテクチャは、1枚画像設定下で光源の方向と色温度の多様な設定に一般化できるか？

主な発見

• 提案されたDRNは、VIDIT検証データセットで17.59 dBという最高のPSNRを記録し、U-Net、Retinex-Net、Pix2Pixを上回った。
• AIM2020 Image Relighting Challenge（トラック1：任意の1つから1つへのリライト）において、最終テストフェーズで最高のPSNRスコアを達成した。
• 視覚的比較では、DRNが光の方向と色温度を正しく操作しており、アーティファクトを最小限に抑え、影の一貫性を保っていることが確認された。
• 極めて暗い入力画像のような困難な状況でも、DRNは影を適切に再構築できており、U-Net や Pix2Pix よりも構造回復と影の現実性において優れた性能を示した。
• シャドウ領域ディスクライマは、特に低照度または高コントラストな状況下で、訓練の安定性と現実性を顕著に向上させた。
• 強力な性能を発揮する一方で、入力画像の情報がほとんど失われた場合（完全に暗い領域がある場合）には、細かな構造的詳細の回復に苦慮しており、インpainting能力に限界があることが示された。