[論文レビュー] 2D Image Relighting with Image-to-Image Translation

Paul Gafton, Erick Maraz|ArXiv.org|Jun 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 9

ひとこと要約

本稿では、pix2pixフレームワークを用いて、2次元画像の再ライティングをGANベースの画像対画像翻訳手法で実現するアプローチを提案する。VIDITデータセットを用いて、任意の入力から8つの定められた位置（N、NE、Eなど）のうちの1つに光の方向を移行させるように学習している。幾何的プリオンを必要とせず、影の再現性と照明の一貫性を実現しており、各ターゲット方向におけるPSNR値は20.56 dBから22.24 dBの範囲にとどまる。

ABSTRACT

With the advent of Generative Adversarial Networks (GANs), a finer level of control in manipulating various features of an image has become possible. One example of such fine manipulation is changing the position of the light source in a scene. This is fundamentally an ill-posed problem, since it requires understanding the scene geometry to generate proper lighting effects. This problem is not a trivial one and can become even more complicated if we want to change the direction of the light source from any direction to a specific one. Here we provide our attempt to solve this problem using GANs. Specifically, pix2pix [arXiv:1611.07004] trained with the dataset VIDIT [arXiv:2005.05460] which contains images of the same scene with different types of light temperature and 8 different light source positions (N, NE, E, SE, S, SW, W, NW). The results are 8 neural networks trained to be able to change the direction of the light source from any direction to one of the 8 previously mentioned. Additionally, we provide, as a tool, a simple CNN trained to identify the direction of the light source in an image.

研究の動機と目的

• 幾何的プリオンや深度マップを必要とせずに、2次元画像の自動的かつ制御可能な再ライティングを可能にすること。
• 合成データからGANを活用して現実的な照明遷移を学習することで、再ライティングの不適切な定式化問題を緩和すること。
• 多様なシーンに一般化可能なシステムを構築し、グローバルな画像の一貫性と影の構造を保持すること。
• 複雑な3次元再構築パイプラインを回避するエンドツーエンドの画像対画像翻訳の再ライティング可能性を評価すること。
• アーティストやフォトグラファーが後処理で効率的にライティングのバリエーションを探索できる、軽量でトレーニング可能なツールを提供すること。

提案手法

• N、NE、E、SE、S、SW、W、NWの8つのターゲット方向の各々に、任意の入力方向からの照明移行を専用に学習した8つのpix2pix GANモデルを訓練した。
• 同じシーンを8つの光源位置と5つの色温度で提供する合成データセットであるVIDITを用い、照明の一貫性の真値を備えたデータセットを活用した。
• pix2pixが要請するペア入力出力形式に合わせて画像を前処理し、再ライティング実験では一定の4500K色温度を採用した。
• 標準的なpix2pixトレーニングを実施し、敵対的損失、L1再構成損失、バッチ正則化を適用し、最良のパフォーマンスを得るためにデフォルトのハイパーパrameterを用いた。
• 入力画像から光源方向を予測する8クラスのCNN分類器を別途訓練し、Adam最適化法と可変学習率を用いた。
• 損失曲線と可視化サンプルを監視することで、最適なハイパーパrameterの選定とモデル収束の評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 幾何的プリオンを必要とせず、GANを用いた画像対画像翻訳が、2次元画像再ライティングの不適切な定式化問題を効果的に解決できるか。
• RQ2 GANベースのモデルが、多様なシーンにわたって光源方向を移行させる際、影の構造とグローバルな一貫性を保持できるか。
• RQ3 限定的な影の情報と間接照明の欠如が、生成された再ライティング画像の品質に与える影響は何か。
• RQ4 軽量なCNN分類器が、単一の画像から光源方向をどれほど正確に予測できるか、また方向の曖昧さに対してどれほど頑健か。
• RQ5 完全に画像ベースのアプローチが、3次元プリオンに基づく手法と比較して、視覚的リアリズムと方向精度の面で優れているか、同等の性能を発揮できるか。

主な発見

• 再ライティングネットワークは、Wターゲットで20.56 dB、Sターゲットで22.24 dBのPSNR値を達成しており、中程度から高い再構成忠実度を示している。
• 強い方向性照明では影の投げかけが一般的に正確であったが、暗いまたは複雑な影は詳細が不足しており、間接照明が欠落しているため、回復が不十分であった。
• 直線が多く含まれる人工的なシーンではアーチファクトが発生し、変換下での幾何的一致性の維持に課題があることが示された。
• 光源方向分類器は、45度範囲内で65%の正確度、90度範囲内で97%の正確度を達成しており、強い方向性一般化能力を示している。
• トレーニングの進捗は徐々に改善され、500～750エポックで収束が確認されたが、最良の結果を得るには1000エポックの全トレーニングが必要だった。
• 幾何的プリオンを単眼深度推定に置き換えた場合、「 soapy film 」アーチファクトが発生し、影の品質が著しく低下した。これは、側面視での現在の深度推定技術の限界を浮き彫りにした。