[論文レビュー] Scene relighting with illumination estimation in the latent space on an encoder-decoder scheme

Alexandre Pierre Dherse, Martin Everaert+1 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Vision and Imaging参考文献 27被引用数 8

ひとこと要約

本論文は、ターゲット画像から照明状態を推定し、それを入力画像に転送することで、明示的な照明アノテーションを必要とせずに現実的なリライトを実現する、潜在空間におけるエンコーダ・デコーダフレームワークを提案する。本手法は色温度の整合性と基本的なシェーディング転送において改善を遂げたが、特に未知のシーンにおいては現実性と正確な影再構築が限定的である。

ABSTRACT

The image relighting task of transferring illumination conditions between two images offers an interesting and difficult challenge with potential applications in photography, cinematography and computer graphics. In this report we present methods that we tried to achieve that goal. Our models are trained on a rendered dataset of artificial locations with varied scene content, light source location and color temperature. With this dataset, we used a network with illumination estimation component aiming to infer and replace light conditions in the latent space representation of the concerned scenes.

研究の動機と目的

• 複数の入力や明示的な照明アノテーションを必要とせず、ターゲット画像から入力画像に照明を転送できる汎用的な画像リライト手法の開発。
• ターゲット画像の潜在空間表現から直接、照明の自動推定を可能にし、手動での光源指定を回避すること。
• 潜在空間におけるシーンのコンテンツと照明情報を分離することで、入力シーンとターゲット照明の柔軟な再結合を可能にすること。
• 多様な照明条件とシーンコンテンツを備えた人工的にレンダリングされたデータセット（VIDIT）を用いて、モデルの性能を評価すること。
• 特に暗い領域において現実性や影再構築に限界があることを見いだし、今後の研究における改善策を提示すること。

提案手法

• モデルは入力画像とターゲット画像の両方を処理する共通のエンコーダ・デコーダアーキテクチャを用い、シーンおよび照明の潜在表現を抽出する。
• 照明推定は、潜在空間内での全結合ネットワークまたは環境マップ予測により実施され、分離された照明表現が可能になる。
• 入力画像のシーン特徴とターゲット画像の照明特徴が、潜在空間内で組み合わされてからデコーディングが行われる。
• 再構成損失と知覚損失（LPIPS）の組み合わせによりネットワークが訓練され、Envmap + sceneモデルに対してはLPIPSを最小化する追加最適化が施される。
• スキップ接続によりデコーディング中の空間的詳細が保持され、チェッカーボードアーチファクトを低減するため、転置畳み込みの代替としてPixelShuffleが検討される。
• 将来の強化として、現実性とリライト画像の一貫性を向上させるために、条件付きGANまたは相対的GANの導入が提案される。

実験結果

リサーチクエスチョン

• RQ1 単一画像ベースのリライト手法は、潜在空間においてターゲット画像から入力画像に照明状態を効果的に推定・転送できるか？
• RQ2 シーンと照明の分離された潜在表現は、多様なシーンにわたるリライト品質と一般化性能をどの程度向上できるか？
• RQ3 なぜモデルは影や濃い暗部を正確に再構築できないのか、その理由と現実性に与える影響は何か？
• RQ4 明示的な照明入力や同一シーンの複数視点を必要とする手法と比較して、自動照明推定はどの程度優れているか？
• RQ5 特に強い影領域において、リライト画像の現実性と一貫性を向上させるにはどのような改善が可能か？

主な発見

• Envmap + sceneモデルは、真値との知覚的類似性が最も優れていた（LPIPSスコア：0.2564）、ただし、この指標に特化して最適化された。
• 照明予測モデルは最高のSSIM（0.3365）を達成し、画像コンテンツの構造的保存性に優れていた。
• SNR値は比較的低く（18.11–18.66 dB）、特に暗い領域で信号対雑音比の性能が限定的であった。
• 色温度転送においては優れた性能を示したが、特に影領域において方向性のある照明変化の正確な再現に苦労していた。
• モデルは深いつい影をしばしば除去し、均一な色に置き換える傾向にあり、暗い領域に現実的なコンテンツを「想像」できていないことを示していた。
• 未知のシーンへの一般化能力は限定的であり、検証セットではトレーニングセットと比較して性能が著しく低下しており、ゼロショット転送能力に欠けていることが示された。