[논문 리뷰] Light Stage Super-Resolution: Continuous High-Frequency Relighting

Tiancheng Sun, Zexiang Xu외 7명|arXiv (Cornell University)|2020. 10. 17.

Advanced Vision and Imaging참고 문헌 36인용 수 6

한 줄 요약

이 논문은 인간 얼굴의 조명 방향이 임의일 때도 포토리얼리틱하고 고주파 수준의 재조명을 가능하게 하기 위해 라이트 스테이지 스캔을 위한 딥러닝 기반 초해상도 방법을 제안한다. 희소한, 각도적으로 샘플링된 라이트 스테이지 데이터에서 가상의 조명 소스 렌더링을 합성하도록 신경망을 훈련시킴으로써, 그림자와 반사광 영역에서의 가시성 및 앨리어싱 아티팩트를 제거하고 부드럽고 현실적인 재조명을 구현한다. 이는 제어 가능한 부드러운 그림자 효과를 가능하게 한다.

ABSTRACT

The light stage has been widely used in computer graphics for the past two decades, primarily to enable the relighting of human faces. By capturing the appearance of the human subject under different light sources, one obtains the light transport matrix of that subject, which enables image-based relighting in novel environments. However, due to the finite number of lights in the stage, the light transport matrix only represents a sparse sampling on the entire sphere. As a consequence, relighting the subject with a point light or a directional source that does not coincide exactly with one of the lights in the stage requires interpolation and resampling the images corresponding to nearby lights, and this leads to ghosting shadows, aliased specularities, and other artifacts. To ameliorate these artifacts and produce better results under arbitrary high-frequency lighting, this paper proposes a learning-based solution for the "super-resolution" of scans of human faces taken from a light stage. Given an arbitrary "query" light direction, our method aggregates the captured images corresponding to neighboring lights in the stage, and uses a neural network to synthesize a rendering of the face that appears to be illuminated by a "virtual" light source at the query location. This neural network must circumvent the inherent aliasing and regularity of the light stage data that was used for training, which we accomplish through the use of regularized traditional interpolation methods within our network. Our learned model is able to produce renderings for arbitrary light directions that exhibit realistic shadows and specular highlights, and is able to generalize across a wide variety of subjects.

연구 동기 및 목표

• 희소한 조명 소스의 각도 샘플링으로 인해 발생하는 라이트 스테이지 재조명에서의 가시성 및 앨리어싱 아티팩트 문제를 해결하기 위해.
• 고주파 환경 맵을 포함한 임의의 조명 방향에서 인간 얼굴의 포토리얼리틱한 재조명을 가능하게 하기 위해.
• 적은 수의 촬영 이미지로부터 고각도 해상도의 조명을 합성함으로써, 고밀도로 촬영된 라이트 스테이지의 필요성을 줄이기 위해.
• 다양한 인간 주제에 대해 일반화하면서도 현실적인 그림자와 반사광의 움직임을 유지하기 위해.
• 기존의 선형 혼합 방식에 대한 메모리 효율적이고 학습 가능한 대안을 제공하기 위해.

제안 방법

• 이 방법은 희소한 라이트 스테이지 캡처 데이터를 기반으로, 쿼리 조명 방향에서 합성된 이미지로 회귀하는 딥 네트워크를 사용한다.
• 그림자 및 반사광 전이의 부드러움을 유지하고 앨리어싱을 완화하기 위해 네트워크 내부에서 정규화된 보간 기법을 적용한다.
• 규칙적인 샘플링 패턴으로 인한 아티팩트를 줄이기 위해, 가장 가까운 이웃 조명에서의 활성화를 평균화하는 새로운 '앨리어스 프리 풀링' 메커니즘을 도입한다.
• 이미지 특징이 타겟 조명 방향으로 디코딩되기 전에 집계되는 학습된 임bedding 공간을 사용한다.
• 학습 중 활성 이웃 세트에 드롭아웃 유사 초해상도 전략을 적용하여 강건성과 일반화 능력을 향상시킨다.
• 가상의 조명이 위치한 구형 주변 영역에서 합성된 이미지를 평균내어 제어 가능한 부드러운 그림자를 구현한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 희소한 라이트 스테이지 데이터에서 고각도 해상도의 재조명을 효과적으로 합성할 수 있는가? 이 과정에서 가시성 또는 앨리어싱 아티팩트가 발생하지 않는가?
• RQ2 학습 기반 접근법은 라이트 스테이지 데이터의 본질적인 규칙성과 부족한 샘플링을 어떻게 극복하여 매끄럽고 현실적인 그림자 및 반사광의 움직임을 생성할 수 있는가?
• RQ3 이 방법은 다양한 인간 주제와 조명 조건에 대해 얼마나 잘 일반화되는가?
• RQ4 모델은 선형 혼합 방식을 뛰어넘어 가상의 조명 샘플링을 통해 현실적인 부드러운 그림자를 가능하게 할 수 있는가?
• RQ5 고해상도 출력을 위한 모델 복잡도, 메모리 사용량, 렲링 품질 간의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 그림자와 반사광 영역에서의 가시성 및 앨리어싱 아티팩트를 성공적으로 제거하여 매끄럽고 현실적인 재조명 효과를 구현한다.
• 모델은 다양한 인간 주제에 대해 잘 일반화되며, 임의의 조명 방향에서도 포토리얼리틱한 품질을 유지한다.
• 가상의 조명이 위치한 구형 주변 영역에서 합성된 이미지를 평균내어 제어 가능한 부드러운 그림자를 달성하였으며, 선형 혼합 방식을 뛰어넘는 성능을 보였다.
• 물리적 조명 수를 줄여도 높은 품질의 재조명을 가능하게 하여 촬영 시간과 하드웨어 비용을 감소시켰다.
• 특히 날카운 그림자와 반사광이 있는 고주파 조명 시나리오에서 선형 보간보다 뛰어난 결과를 달성하였다.
• 실제 시각 효과 파이프라인에서의 실용성을 확보할 수 있을 정도로 메모리 효율적이지만, 4K와 같은 고해상도 이미지는 여전히 도전 과제로 남아 있다.