[論文レビュー] Light Stage Super-Resolution: Continuous High-Frequency Relighting

Tiancheng Sun, Zexiang Xu+7 more|arXiv (Cornell University)|Oct 17, 2020

Advanced Vision and Imaging参考文献 36被引用数 6

ひとこと要約

本論文では、任意の照明方向における人間の顔の写真のようにリアルな高周波数の再照明を可能にする、深層学習に基づくスーパーサンプリング手法を提案する。スパースで角度的にサンプリングされたライトステージデータから仮想の光源レンダリングを合成するためのニューラルネットワークを訓練することで、影やスペキュラーなハイライトにおけるゴーストアーティファクトやアリasingを解消し、制御可能なソフトシャドウを伴う滑らかでリアルな再照明を実現する。

ABSTRACT

The light stage has been widely used in computer graphics for the past two decades, primarily to enable the relighting of human faces. By capturing the appearance of the human subject under different light sources, one obtains the light transport matrix of that subject, which enables image-based relighting in novel environments. However, due to the finite number of lights in the stage, the light transport matrix only represents a sparse sampling on the entire sphere. As a consequence, relighting the subject with a point light or a directional source that does not coincide exactly with one of the lights in the stage requires interpolation and resampling the images corresponding to nearby lights, and this leads to ghosting shadows, aliased specularities, and other artifacts. To ameliorate these artifacts and produce better results under arbitrary high-frequency lighting, this paper proposes a learning-based solution for the "super-resolution" of scans of human faces taken from a light stage. Given an arbitrary "query" light direction, our method aggregates the captured images corresponding to neighboring lights in the stage, and uses a neural network to synthesize a rendering of the face that appears to be illuminated by a "virtual" light source at the query location. This neural network must circumvent the inherent aliasing and regularity of the light stage data that was used for training, which we accomplish through the use of regularized traditional interpolation methods within our network. Our learned model is able to produce renderings for arbitrary light directions that exhibit realistic shadows and specular highlights, and is able to generalize across a wide variety of subjects.

研究の動機と目的

• ライトステージ再照明におけるゴーストアーティファクトやアリasingを引き起こす光源のスパースな角度サンプリングの問題を解決すること。
• 任意の照明方向、特に高周波数の環境マップを含む人間の顔の写真のようにリアルな再照明を可能にすること。
• 少ない画像の撮影で高角度分解能の照明を合成することで、密にサンプリングされたライトステージの必要性を低減すること。
• 多様な人間の被写体に一般化しつつ、影やハイライトの動きをリアルに保つこと。
• 従来のライトステージ画像の線形ブレンドの代替手段として、メモリ効率が良く、学習可能な代替手法を提供すること。

提案手法

• 本手法は、クエリとなる光源方向から合成画像を回帰するための深層ニューラルネットワークを用い、スパースなライトステージのキャプチャデータで訓練する。
• アーリアシングや滑らかさの損なわれを防ぐために、ネットワーク内での正則化された補間技術を採用する。
• 最近接の光源からの活性化を平均化する新しい「アリasingフリー畳み込み」メカニズムを導入し、規則的なサンプリングパターンに起因するアーティファクトを低減する。
• 画像特徴をターゲットの光源方向のデコード前にアグリゲートするための学習可能な埋め込み空間をネットワークが使用する。
• 訓練中に有効な近隣光源集合に対してドロップアウトに類似したスーパーサンプリング戦略を適用し、ロバストネスと一般化性能を向上させる。
• 仮想光源の球面近傍での合成画像の平均化により、制御可能なソフトシャドウを実現する。

実験結果

リサーチクエスチョン

• RQ1 スパースなライトステージデータから高角度分解能の再照明を合成する際、ゴーストアーティファクトやアリasingを引き起こさずに、深層ニューラルネットワークが効果的に機能するか。
• RQ2 学習ベースのアプローチは、ライトステージデータの固有の規則性とアンダーサンプリングの制約をどのように乗り越え、滑らかでリアルな影やハイライトの動きを実現できるか。
• RQ3 本手法は、異なる人間の被写体や照明条件下でどの程度一般化できるか。
• RQ4 仮想光源のサンプリングにより、線形ブレンドの限界を超えてリアルなソフトシャドウを実現できるか。
• RQ5 高解像度出力のための、モデルの複雑さ、メモリ使用量、レンダリング品質のトレードオフはどのようなものか。

主な発見

• 提案手法は、影やスペキュラーなハイライトにおけるゴーストアーティファクトやアリasingを効果的に解消し、滑らかでリアルな再照明効果を実現した。
• 本モデルは多様な人間の被写体に良好に一般化され、任意の照明方向でも写真のようにリアルな品質を維持した。
• 仮想光源の球面近傍での合成画像の平均化により、制御可能なソフトシャドウが実現され、線形ブレンドを上回る性能を示した。
• 物理的光源の数を減らしても高品質な再照明が可能となり、収集時間とハードウェアコストの低減が実現された。
• 特にシャープな影やハイライトを伴う高周波数照明シナリオにおいて、線形補間よりも優れた結果を達成した。
• 実用的なビジュアルエフェクトパイプラインでの使用に十分なメモリ効率を達成したが、4Kのような高解像度画像の処理は依然として課題である。