[논문 리뷰] LIME: Live Intrinsic Material Estimation

Abhimitra Meka, Maxim Maximov외 5명|arXiv (Cornell University)|2018. 01. 03.

Advanced Vision and Imaging참고 문헌 2인용 수 15

한 줄 요약

LIME는 단일 단일 색상 이미지에서 산란 및 반사 알베도, 반사도, 배경 분할을 실시간으로 종단 간(end-to-end)으로 추정하는 최초의 방법을 제안한다. 이는 심층 인코더-디코더 네트워크를 활용하며, 인지적 렲링 손실을 통한 이미지 공간에서의 감독을 통해 실시간 혼합현실 애플리케이션, 예를 들어 가상 재료 복제 및 조명 일관성 있는 AR 통합을 실시간 프레임 레이트에서 가능하게 한다.

ABSTRACT

We present the first end to end approach for real time material estimation for general object shapes with uniform material that only requires a single color image as input. In addition to Lambertian surface properties, our approach fully automatically computes the specular albedo, material shininess, and a foreground segmentation. We tackle this challenging and ill posed inverse rendering problem using recent advances in image to image translation techniques based on deep convolutional encoder decoder architectures. The underlying core representations of our approach are specular shading, diffuse shading and mirror images, which allow to learn the effective and accurate separation of diffuse and specular albedo. In addition, we propose a novel highly efficient perceptual rendering loss that mimics real world image formation and obtains intermediate results even during run time. The estimation of material parameters at real time frame rates enables exciting mixed reality applications, such as seamless illumination consistent integration of virtual objects into real world scenes, and virtual material cloning. We demonstrate our approach in a live setup, compare it to the state of the art, and demonstrate its effectiveness through quantitative and qualitative evaluation.

연구 동기 및 목표

• 일반적인 물체 형상에 대해 수동 분할 없이 단일 단일 이미지에서 실시간으로 재료 추정을 가능하게 하기 위해.
• 산란 및 반사 알베도, 반사도, 분할을 포함한 전체 재료 성질을 단일 RGB 이미지에서 동시에 추정하기 위해.
• 역방사광 문제의 불안정성 문제를 해결하기 위해, 가분성 있고 인지적으로 기반을 둔 련속 손실을 사용하기 위해.
• 가상 재료 복제 및 조명 일관성 있는 AR과 같은 실시간 혼합현실 애플리케이션을 지원하기 위해.
• 고도로 반사적인 재료에 대한 편향을 피하기 위해, 인지적으로 분할된 반사도 밴드를 사용하여 합성 데이터로 훈련하기 위해.

제안 방법

• 산란 조명, 반사 조명, 거울 이미지를 포함한 내재 이미지 레이어를 예측하기 위해 심층 인코더-디코더 U-Net 아키텍처를 사용한다.
• 실제 세계의 이미지 형성 방식을 모방하는 새로운 인지적 렌더링 손실을 도입하여 추론 중간 단계에서 감독을 가능하게 한다.
• 표면 법선이 필요 없도록, 내재 레이어에 대한 이미지 공간에서의 감독을 통해 재료 추정과 형상 추정을 분리한다.
• 과도한 추정을 방지하기 위해, 회귀 대신 8개의 인지적으로 의미 있는 밴드로 반사도를 분류한다.
• 예측된 내재 레이어에 대한 인지적 렌더링 손실을 사용하여 재료 파rameter 회귀를 자기지도 학습(self-supervision) 방식으로 수행한다.
• 깊이 정보가 제공될 경우, 저주파수 및 고주파수 조명을 추출할 수 있도록 하며, 실내 및 실외 조명 조건 모두를 지원한다.

실험 결과

연구 질문

• RQ1 임의의 물체 형상에 대해 단일 단일 RGB 이미지에서 실시간으로 내재 재료 성질을 추정할 수 있는가?
• RQ2 형상 감독 없이도 딥러닝 모델이 산란 및 반사 알베도를 정확히 분리할 수 있는가?
• RQ3 인지적으로 기반을 둔 렌더링 손실이 내재 분해 및 재료 추정의 품질을 향상시키는가?
• RQ4 실세계 재료 추정 작업에서 분류가 회귀보다 성능이 뛰어나지 않는가?
• RQ5 이 방법이 실시간으로 원활한 혼합현실 애플리케이션, 예를 들어 가상 재료 복제를 가능하게 하는가?

주요 결과

• 이 방법은 영상 프레임 레이트에서 실시간 성능를 달성하여, 재료 복제 및 AR 통합과 같은 실시간 애플리케이션을 가능하게 한다.
• 8개의 인지적으로 분할된 밴드로 반사도를 분류하는 것이, 과도하게 반사도를 추정하는 경향이 있는 회귀보다 성능이 뛰어나다.
• 제안된 인지적 렌더링 손실은 실제 이미지 형성 방식을 모방함으로써 더 정확하고 현실적인 재료 추정을 가능하게 한다.
• 이전 방법이 실외 조명에 집중한 것과는 달리, 이 방법은 복잡한 실내 조명 조건을 성공적으로 처리할 수 있다.
• 이 방법은 수동 분할이나 형상 사전 지식 없이도 임의의 물체 형상에 일반화될 수 있다.
• 정량적 평가 결과, 내재 분해 및 재료 추정 지표에서 최신 기술 대비 뛰어난 성능을 보였다.