[논문 리뷰] Relighting Humans: Occlusion-Aware Inverse Rendering for Full-Body Human Images

Yoshihiro Kanamori, Yuki Endo|arXiv (Cornell University)|2019. 08. 07.

Computer Graphics and Visualization Techniques참고 문헌 49인용 수 12

한 줄 요약

이 논문은 컨volution 신경망(CNN)을 사용하여 전체 신체 인간 영상의 가림을 고려한 재조명을 위한 딥러닝 방법을 제안한다. 영상에서 반사율, 조명, 그리고 각 픽셀당 2차 구면 조화 함수(SH) 계수를 포함하는 빛 전달 맵을 추론하여 빛의 가림을 모델링함으로써 자가 그림자와 함께 현실적인 재조명을 가능하게 한다. 주요 기여는 소규모이고 기하학적으로 정렬된 합성 데이터셋에서 현실적인 가림 모델링을 달성함으로써, 가림을 忽시하는 방법에 비해 극명하게 높은 현실감을 구현한 것이다.

ABSTRACT

Relighting of human images has various applications in image synthesis. For relighting, we must infer albedo, shape, and illumination from a human portrait. Previous techniques rely on human faces for this inference, based on spherical harmonics (SH) lighting. However, because they often ignore light occlusion, inferred shapes are biased and relit images are unnaturally bright particularly at hollowed regions such as armpits, crotches, or garment wrinkles. This paper introduces the first attempt to infer light occlusion in the SH formulation directly. Based on supervised learning using convolutional neural networks (CNNs), we infer not only an albedo map, illumination but also a light transport map that encodes occlusion as nine SH coefficients per pixel. The main difficulty in this inference is the lack of training datasets compared to unlimited variations of human portraits. Surprisingly, geometric information including occlusion can be inferred plausibly even with a small dataset of synthesized human figures, by carefully preparing the dataset so that the CNNs can exploit the data coherency. Our method accomplishes more realistic relighting than the occlusion-ignored formulation.

연구 동기 및 목표

• 단일 영상 재조명에서 자가 그림자 부족 문제, 특히 겨드랑이와 콧구멍과 같은 파손된 영역에서의 현실감 있는 그림자 표현을 해결하기 위해.
• 구면 조화 함수(SH) 조명 공식에 빛의 가림을 통합하여 전체 신체 인간 영상의 물리적으로 타당한 재조명을 가능하게 하기 위해.
• 기하학적으로 정렬된 소규모 합성 3D 인간 모델 데이터셋을 기반으로 CNN 기반의 역조명 시스템을 훈련시켜 가림 고려 빛 전달 맵을 추론하기 위해.
• 추론된 빛 전달 벡터와 SH 조명 계수 간의 내적을 계산하여 빠르고 효율적인 재조명을 수행하기 위해.

제안 방법

• 이 방법은 단일 마스크 처리된 인간 영상에서 반사율 맵, 조명의 SH 계수, 그리고 각 픽셀당 9개의 SH 계수를 포함하는 빛 전달 맵을 CNN을 통해 추론한다. 이 빛 전달 맵은 가림을 인코딩한다.
• 빛 전달 맵은 사전 계산된 반사율 전달(PRT)의 SH 공식에서 유도되며, 가림과 코사인 로브 효과가 SH 계수에 인코딩되어 있다.
• 기하학적으로 정렬된 3D 인간 모델(스캔 모델 및 상용 데이터셋에서 유래)로 구성된 합성 데이터셋을 사용하여 지도 학습을 수행하며, 이는 데이터의 일관성을 향상시킨다.
• 예측된 이미지와 진짜 이미지 간의 차이를 최소화하기 위해 L1 및 시각적 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 재조명은 추론된 빛 전달 벡터와 SH 조명 계수 간의 내적을 계산한 후 반사율 맵과 채널별 곱셈을 수행함으로써 효율적으로 수행된다.
• 마스크에서 유도된 윤곽선과 형태 사전 지식을 활용하여, 제한된 훈련 데이터 조건에서도 가림과 같은 기하학적 세부 정보를 추론한다.

실험 결과

연구 질문

• RQ1 소규모 합성 데이터셋만을 사용하여 딥 CNN이 전체 신체 인간 영상에서 빛의 가림을 추론할 수 있는가?
• RQ2 SH 기반 빛 전달 공식이 겨드랑이, 콧구멍과 같은 파손된 영역에서 자가 그림자를 효과적으로 모델링할 수 있는가?
• RQ3 훈련 데이터에 포함되지 않은 자세(예: 앉는 자세)에 대해서도 네트워크가 일반화되는가?
• RQ4 훈련 데이터에 존재하지 않는 특수한 조명 조건에서 이 방법의 성능은 어떠한가?

주요 결과

• 이 방법은 파손된 영역에서 현실적인 자가 그림자와 함께 신뢰할 수 있는 재조명을 달성하여, 가림을 忽시하는 기존 기법에 비해 시각적 품질에서 뚜렷한 우수성을 보였다.
• 몇백 개의 3D 인간 모델만을 사용했음에도 불구하고, CNN은 겨드랑이, 콧구멍, 옷 주름 등에서의 가림을 정확히 포착하는 빛 전달 맵을 추론하는 데 성공했다.
• 1024×1024 영상당 추론 시간이 0.43초로 매우 빠르며, 실시간 재조명 응용에 적합하다.
• 훈련 데이터에 포함되지 않은 앉는 자세에 대해서도 모델이 잘 일반화되며, 윤곽선에서 유도된 강력한 형태 사전 지식이 학습되었음을 시사한다.
• 매우 이례적인 조명 조건에서는 실패를 보였는데, 이는 가장 가까운 이웃 훈련 조명을 재구성하려는 경향으로 인해 반사율 맵에 아티팩트가 발생하기 때문이다.
• 자기 지도 미세 조정은 빛 전달 맵의 고차원성(픽셀당 9채널)으로 인해 네트워크가 붕괴되며, 감독 없이선 안정성이 떨어진다.