[論文レビュー] VIDIT: Virtual Image Dataset for Illumination Transfer

Majed El Helou, Ruofan Zhou+2 more|arXiv (Cornell University)|May 11, 2020

Image Enhancement Techniques参考文献 8被引用数 39

ひとこと要約

VIDITは40のライティング構成（5色温度×8方向）で390シーンをレンダリングした大規模な仮想データセットを提供し、Relightingメソッドをベンチマークするための総計15,600枚の画像を含みます。公的な訓練/検証セットとベンチマーク用の私的テストセットに分割されます。

ABSTRACT

Deep image relighting is gaining more interest lately, as it allows photo enhancement through illumination-specific retouching without human effort. Aside from aesthetic enhancement and photo montage, image relighting is valuable for domain adaptation, whether to augment datasets for training or to normalize input test data. Accurate relighting is, however, very challenging for various reasons, such as the difficulty in removing and recasting shadows and the modeling of different surfaces. We present a novel dataset, the Virtual Image Dataset for Illumination Transfer (VIDIT), in an effort to create a reference evaluation benchmark and to push forward the development of illumination manipulation methods. Virtual datasets are not only an important step towards achieving real-image performance but have also proven capable of improving training even when real datasets are possible to acquire and available. VIDIT contains 300 virtual scenes used for training, where every scene is captured 40 times in total: from 8 equally-spaced azimuthal angles, each lit with 5 different illuminants.

研究の動機と目的

• 深い画像リライティングを美的向上、ドメイン適応、正規化のために動機付ける。
• 照明操作手法の参照評価ベンチマークを作成する。
• 固定されたシーンと照明設定を横断する照明転送の定量評価を可能にするデータセットを提供する。

提案手法

• Unreal Engine 4を使用してオムニ方向性光源で1024×1024のシーンをレンダリングする。
• 各シーンにつき40の照明設定を捕捉する: 5つの色温度と8つの光方向。
• 重複を避け、全角度から有効な照明を確保するためにシーンを手動で選択・剪定する。
• 各レンダリング画像とともに照明設定と深度情報を記録する。
• データを訓練(公衆)300シーン、12,000枚、検証(公衆)45シーン、1,800枚、テスト(非公開)45シーン、1,800枚に分割する。

実験結果

リサーチクエスチョン

• RQ1 変化する照明下でシーンから光源の向きと色温度を予測できるか。
• RQ2 入力画像をターゲットドメインの照明設定に合わせて変換できるか（任意対一の照明転送）。
• RQ3 入力画像を別のガイド画像の照明に合わせて再照明できるか（任意対任意の照明転送）。

主な発見

• データセットは40の事前に決定された照明設定の下でレンダリングされた390シーンを含み、総計15,600枚の画像を含む。
• 訓練セットは300シーンからの12,000枚、検証セットは45シーンからの1,800枚（公開）、テストセットは45シーンからの1,800枚（非公開）。
• 画像の解像度は1024×1024で、深度情報を含む。
• 照明設定は5つの色温度（2500K、3500K、4500K、5500K、6500K）と8方向（N, NE, E, SE, S, SW, W, NW）を含む。
• データセットは、ガイド入力または照明設定を用いて任意対一および任意対任意の照明スタイル転送を評価することを目的としている。