[논문 리뷰] A Lightweight Approach for On-the-Fly Reflectance Estimation

Kihwan Kim, Jinwei Gu외 4명|arXiv (Cornell University)|2017. 05. 19.

Advanced Vision and Imaging참고 문헌 13인용 수 11

한 줄 요약

이 논문은 일반적인 RGBD 센서를 사용하여 8비트 RGB 이미지에서 실시간으로 가벼운 학습 기반 방법으로 실시간 표면 반사율 추정을 제안한다. HemiCNN과 Grouplet이라는 두 가지 새로운 신경망 아키텍처와 색상 일관성 및 스케일 모호성을 해결하는 인지적으로 유도된 손실 함수를 도입하여, 제어되지 않은 환경에서 정확한 BRDF 추정을 가능하게 하며, 추론 시간이 90ms 미만이고 모델 크기가 340KB 미만이다.

ABSTRACT

Estimating surface reflectance (BRDF) is one key component for complete 3D scene capture, with wide applications in virtual reality, augmented reality, and human computer interaction. Prior work is either limited to controlled environments (\eg gonioreflectometers, light stages, or multi-camera domes), or requires the joint optimization of shape, illumination, and reflectance, which is often computationally too expensive (\eg hours of running time) for real-time applications. Moreover, most prior work requires HDR images as input which further complicates the capture process. In this paper, we propose a lightweight approach for surface reflectance estimation directly from $8$-bit RGB images in real-time, which can be easily plugged into any 3D scanning-and-fusion system with a commodity RGBD sensor. Our method is learning-based, with an inference time of less than 90ms per scene and a model size of less than 340K bytes. We propose two novel network architectures, HemiCNN and Grouplet, to deal with the unstructured input data from multiple viewpoints under unknown illumination. We further design a loss function to resolve the color-constancy and scale ambiguity. In addition, we have created a large synthetic dataset, SynBRDF, which comprises a total of $500$K RGBD images rendered with a physically-based ray tracer under a variety of natural illumination, covering $5000$ materials and $5000$ shapes. SynBRDF is the first large-scale benchmark dataset for reflectance estimation. Experiments on both synthetic data and real data show that the proposed method effectively recovers surface reflectance, and outperforms prior work for reflectance estimation in uncontrolled environments.

연구 동기 및 목표

• 조명과 기하학이 알려지지 않은 제어되지 않은 환경에서 실시간 표면 반사율 추정의 과제를 해결한다.
• HDR 이미지, 제어된 조명, 또는 수시간에 걸친 최적화가 필요한 이전 방법들의 계산 및 하드웨어 제약을 극복한다.
• 소비자용 모바일 기기에서 실시간 3D 스캐닝 및 융합 파이프라인에 실용적으로 통합할 수 있도록 한다.
• 5000개의 재질과 형상에 걸쳐 50만 장의 RGBD 이미지를 포함하는 SynBRDF 데이터셋을 구축하여 반사율 추정의 확장 가능한 벤치마크를 제공한다.
• 8비트 RGB 입력에서의 스케일 및 색상 일관성 모호성을 해결하기 위해 새로운 미분 가능한 손실 함수를 제안한다.

제안 방법

• HemiCNN을 제안하여 흩어진 비구조적 다중 시점 관측을 표준 컨볼루션 처리를 위한 2차원 이미지 격자에 투영한다.
• Grouplet을 도입하여 격자 투영 없이 직접 관측의 무작위 샘플을 처리하는 가벼운 MLP 기반 아키텍처를 설계한다.
• 스케일 및 색상 일관성 모호성을 해결하기 위해 인지적 제약과 물리적 제약을 결합한 새로운 손실 함수를 설계한다.
• sRGB 강도를 선형 반사율로 매핑하기 위해 감마 보정 모델(γ = 2.4)을 사용하여 평균 장면 및 배경 반사율 추정을 가능하게 한다.
• 간소화된 렌더링 방정식을 기반으로 정규화 항(식 4)을 제안한다: $\bar{F}^\gamma \approx (\rho_d + \rho_s) \cdot \bar{B}^\gamma$, 여기서 $\bar{F}$와 $\bar{B}$는 전경 및 배경 강도 평균이다.
• 물리 기반 레이 트레이서를 사용하여 자연 조명 하에서 렌더링된 50만 장의 RGBD 이미지로 구성된 대규모 합성 데이터셋인 SynBRDF에서 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 HDR 입력이나 제어되지 않은 환경이 없이 8비트 RGB 이미지에서 실시간 반사율 추정이 가능할 수 있는가?
• RQ2 신경망은 알려지지 않은 조명 조건에서 비구조적이고 흩어진 다중 시점 관측을 효과적으로 처리할 수 있는가?
• RQ3 학습된 손실 함수는 저다이나믹 레인지 입력에서 스케일 및 색상 일관성 모호성을 어느 정도 해결할 수 있는가?
• RQ4 340KB 이하의 크기와 90ms 미만의 추론 시간을 가진 경량 모델이 제어되지 않은 환경에서 이전 방법을 능가할 수 있는가?
• RQ5 제안된 방법은 일반적인 RGBD 센서로 촬영한 실세계 데이터에서 얼마나 효과적인가?

주요 결과

• 제안된 방법은 장면당 추론 시간가 90ms 이하, 모델 크기가 340KB 이하로, 모바일 기기에서 실시간 응용에 적합하다.
• 합성 및 실세계 데이터에 대한 실험 결과, 방법이 표면 알베도와 광택을 효과적으로 복원하며, 제어되지 않은 환경에서 이전 작업을 능가한다.
• Grouplet과 HemiCNN 네트워크는 SynBRDF 벤치마크에서 최신 기술 수준의 성능을 달성하여 RMSE가 낮고 시각적으로 더 정확한 결과를 제공한다.
• 정규화 항(식 4)은 실세계 데이터에서 밝기 및 광택 추정을 크게 향상시켜 스케일 모호성을 해결하는 데 핵심적인 역할을 한다.
• 정성적 결과로는, 새로운 조명 및 시점 조건 하에서 렌더링된 이미지가 실제값과 매우 유사하게 나타나, 다양한 물체 형상과 조명 조건에서도 잘 작동함을 보여준다.
• 보조 비디오 및 시각적 비교를 통해 제안된 방법이 일반적인 RGBD 센서로 촬영한 실세계 데이터에 효과적으로 일반화됨을 검증하였다.