[論文レビュー] Single-image Full-body Human Relighting

Manuel Lagunas, Xin Sun+6 more|arXiv (Cornell University)|Jan 1, 2021

Image Enhancement Techniques参考文献 46被引用数 12

ひとこと要約

本論文は、事前計算された放射率転送（PRT）と球面調和関数（SH）を用いて、アルベド、照明、光輸送に画像を分解することで、1枚の画像からの全身人間の再照明化を実現する深層学習手法を提案する。拡散反射（Oren-Nayar）と鏡面反射（GGX）の明示的モデリングに加え、PRT再構成誤差を補正する学習可能な残差項を導入している。本手法は、合成画像および実写写真の両方において、先行研究の最先端手法を上回る再照明精度を達成した。

ABSTRACT

We present a single-image data-driven method to automatically relight images with full-body humans in them. Our framework is based on a realistic scene decomposition leveraging precomputed radiance transfer (PRT) and spherical harmonics (SH) lighting. In contrast to previous work, we lift the assumptions on Lambertian materials and explicitly model diffuse and specular reflectance in our data. Moreover, we introduce an additional light-dependent residual term that accounts for errors in the PRT-based image reconstruction. We propose a new deep learning architecture, tailored to the decomposition performed in PRT, that is trained using a combination of L1, logarithmic, and rendering losses. Our model outperforms the state of the art for full-body human relighting both with synthetic images and photographs.

研究の動機と目的

• 制御された照明条件や複数の入力が不要な1枚の写真から、現実的な全身人間の再照明化を可能にすること。
• ラウンディアン材料を仮定する従来の1枚画像再照明化手法の限界を克服すること。
• 非ラウンディアン反射（拡散および鏡面）をモデリングし、光依存の残差項を追加することで、画像再構成精度を向上させること。
• アルベド、照明、輸送を分離する大規模な合成データセット上で学習された深層学習フレームワークを構築し、効果的な再照明化を実現すること。
• 合成画像および実世界の画像の両方において、最先端の再照明品質を達成すること。

提案手法

• 微分可能で効率的な方法として、球面調和関数（SH）を用いた事前計算された放射率転送（PRT）を用いて、照明および光輸送をモデル化する。
• 独自のCNNアーキテクチャを用いて、入力画像をアルベド、照明（SH係数）、および輸送（PRTに基づく）成分に分解する。
• 拡散反射をOren-Nayarモデル、鏡面反射をGGXマイクロファセットモデルでモデリングし、ラウンディアン仮定に比べて現実性を向上させる。
• PRTに基づく画像再構成誤差を補正するための学習可能な光依存残差項を導入する。
• L1損失、対数損失、レンダリング損失の組み合わせを用いてネットワークを訓練し、視覚的および定量的忠実度を向上させる。
• 多様な人物、ポーズ、照明マップを備えた約14万枚の合成画像から成るデータセットを活用し、教師あり学習を行う。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像からの深層学習手法が、複数枚の画像や制御された照明がなくても、高精細な全身人間の再照明化を達成できるか？
• RQ2 Oren-NayarおよびGGXを用いた非ラウンディアン反射の明示的モデリングは、ラウンディアン仮定に比べて再照明の現実性をどの程度向上させるか？
• RQ3 学習可能な残差項を追加することで、PRTベースの再照明における再構成精度はどの程度向上するか？
• RQ4 本手法は、最先端の1枚画像再照明化手法と比較して、実写写真への一般化性はどの程度高いか？
• RQ5 異なる損失関数およびアーキテクチャ的要素が、最終的な再照明品質に及ぼす影響は何か？

主な発見

• 提案手法は、L1、L2、PSNR指標において、合成画像および実写写真の両方において、先行研究[KE18]を上回る最先端の再照明品質を達成した。
• アブレーションスタディにより、残差学習および非ラウンディアン反射モデリングを備えた完全なモデルが最良の結果をもたらし、実写写真におけるPSNRは29.83を記録したのに対し、[KE18]は27.27であった。
• 残差項の導入により、バックライティングなどの困難な照明条件下でも再構成が著しく向上し、PRT再構成誤差を吸収できるようになった。
• ラウンディアンベースラインと比較して、明示的なOren-NayarおよびGGX反射モデリングを備えたモデルは、方向性のある照明効果および鏡面ハイライトをより正確に捉えている。
• アブレーションスタディの結果、残差項やPRT分解を削除すると性能が著しく低下し、それらが重要な役割を果たしていることが確認された。
• 強いスキャットライト（例：顔領域の平坦なアルベド）の影響には限界があるものの、多様な入力に対して妥当で正確な再照明結果を生成した。