[논문 리뷰] Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone Image

Zhengqin Li, Kalyan Sunkavalli외 1명|arXiv (Cornell University)|2018. 04. 16.

Computer Graphics and Visualization Techniques참고 문헌 19인용 수 15

한 줄 요약

이 논문은 플래시 조명을 사용하여 단일 모바일 폰 이미지에서 공간적으로 변화하는 BRDF와 표면 법선을 복원하기 위한 딥러닝 방법을 제안한다. CNN과 미분 가능 렌더링 레이어, 소재 분류, 그리고 조밀한 CRF 후처리 모듈을 결합함으로써, 최소한의 촬영 제약 조건 하에 합성 및 실제 세계 데이터 모두에서 최신 기술 수준의 SVBRDF 복원 품질을 달성한다.

ABSTRACT

We propose a material acquisition approach to recover the spatially-varying BRDF and normal map of a near-planar surface from a single image captured by a handheld mobile phone camera. Our method images the surface under arbitrary environment lighting with the flash turned on, thereby avoiding shadows while simultaneously capturing high-frequency specular highlights. We train a CNN to regress an SVBRDF and surface normals from this image. Our network is trained using a large-scale SVBRDF dataset and designed to incorporate physical insights for material estimation, including an in-network rendering layer to model appearance and a material classifier to provide additional supervision during training. We refine the results from the network using a dense CRF module whose terms are designed specifically for our task. The framework is trained end-to-end and produces high quality results for a variety of materials. We provide extensive ablation studies to evaluate our network on both synthetic and real data, while demonstrating significant improvements in comparisons with prior works.

연구 동기 및 목표

• 소비자용 모바일 폰으로 촬영한 단일 이미지에서 고해상도 공간적으로 변화하는 BRDF와 법선 추정을 가능하게 하기 위해.
• 딥러닝 아키텍처에 물리적 사전 지식을 통합하여 단일 이미지 소재 추정의 불안정한 성질을 극복하기 위해.
• 공간적으로 변화하는 소재 추정에 특화된 대규모이고 정확한 시각적 정확도를 갖춘 SVBRDF 데이터셋을 개발하기 위해.
• 미분 가능 렌더링과 소재 분류로부터의 동시 감독을 통해 엔드 투 엔드 훈련을 달성하기 위해.
• 최소한의 촬영 오버헤드로 다양한 실제 환경과 모바일 기기에서의 일반화 성능을 입증하기 위해.

제안 방법

• 단일 플래시 조명이 가미된 모바일 폰 이미지에서 표면 법선, 미세 반사율, 그리고 특수 거칠기 성분을 추정하기 위해 CNN을 훈련한다.
• 네트워크에 추정된 BRDF 성분을 새로운 조명 방향과 재결합하는 미분 가능 렌더링 레이어를 포함하여 추가적인 훈련 감독을 제공한다.
• 보조 감독을 제공하고 잠재 표현 품질을 향상시키기 위해 네트워크에 소재 분류기가 통합된다.
• 물리학에 기반한 단일항 및 부드러움 항목을 갖춘 조밀한 조건부 랜덤 필드(DCRF)가 마이크로피스터 BRDF 특성을 활용하여 네트워크 출력을 정밀하게 보정한다.
• 대규모 합성 SVBRDF 데이터셋을 사용하여 시각적 정확도를 확보한 상태에서 전체 프레임워크를 엔드 투 엔드로 훈련한다.
• 그림자 감소와 고주파 특수 반사광의 가시성 향상을 위해 플래시 조명을 활용함으로써 소재 특성 분석을 향상시킨다.

실험 결과

연구 질문

• RQ1 특수 하드웨어 없이 플래시 조명이 가미된 단일 모바일 폰 이미지로 정확한 SVBRDF 및 법선 추정이 가능한가?
• RQ2 BRDF 모델 및 조명 상호작용과 같은 물리적 사전 지식을 어떻게 딥러닝 아키텍처에 통합하여 더 나은 소재 추정을 달성할 수 있는가?
• RQ3 합성 데이터로 훈련된 CNN이 다양한 기기에서의 실제 세계의 제약 없는 모바일 촬영에 얼마나 잘 일반화되는가?
• RQ4 소재 분류와 미분 가능 렌더링을 동시에 적용하면 SVBRDF 예측의 강건성과 정확도가 향상되는가?
• RQ5 제안된 DCRF 후처리 모듈이 마이크로피스터 BRDF 특성을 활용하여 CNN 출력을 어떻게 개선하는가?

주요 결과

• 제안된 방법은 합성 및 실제 세계의 SVBRDF 데이터셋 모두에서 최신 기술 수준의 정량적·정성적 성능을 달성하며, 이전의 단일 이미지 방법들을 능가한다.
• 다양한 모바일 기기들(예: 화웨이 P9, 구글 탱고, 아이폰 6s) 간에 잘 일반화되어 기기 특화 변동성에 대해 강력한 내성성을 보였다.
• 이전의 [10]보다 더 선명하고 세밀한 정밀도를 갖춘 고품질 법선 맵을 복원하였으며, 광학 스테레오 결과와 유사하거나 이를 초월하였다.
• DCRF 후처리 모듈이 출력에 마이크로피스터 BRDF 일관성을 강제 적용함으로써 복원 정확도를 크게 향상시켰다.
• 192×192 패치당 2.4초의 복원 시간을 기록하여 [8]의 6시간 기준선보다 크게 빠르며, 더 정확한 결과를 생성하였다.
• 금속 오분류 등의 실패 케이스에서도 여전히 합리적인 복원 품질을 유지하여, 더 나은 의미적 감독이 제공된다면 향상 가능성을 시사한다.