[논문 리뷰] OpenIllumination: A Multi-Illumination Dataset for Inverse Rendering Evaluation on Real Objects

Isabella Liu, Linghao Chen외 9명|arXiv (Cornell University)|2023. 09. 14.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 142개의 캘리브레이션된 LED 램프를 갖춘 구형 조명 스테이션을 사용하여 64개의 실제 물체를 14가지 다른 조명 조건에서 촬영한 다중조명 데이터셋인 OpenIllumination을 소개한다. 이 데이터셋은 정답 조명과 마스크를 제공함으로써 역렌더링 방법의 정량적 평가를 가능하게 하며, TensoIR를 사용하여 특정 재료에서 PSNR 최대 46.66까지의 최신 기술 수준의 재조명 성능를 달성한다. 또한 전용 데이터 캡처 및 캘리브레이션 기법을 통해 가림막과 카메라 일관성 등의 과제를 해결한다.

ABSTRACT

We introduce OpenIllumination, a real-world dataset containing over 108K images of 64 objects with diverse materials, captured under 72 camera views and a large number of different illuminations. For each image in the dataset, we provide accurate camera parameters, illumination ground truth, and foreground segmentation masks. Our dataset enables the quantitative evaluation of most inverse rendering and material decomposition methods for real objects. We examine several state-of-the-art inverse rendering methods on our dataset and compare their performances. The dataset and code can be found on the project page: https://oppo-us-research.github.io/OpenIllumination.

연구 동기 및 목표

• 실제 물체에 대한 역렌더링 방법 평가를 위한 실세계 다중조명 데이터셋의 부족을 해결하기 위해.
• 캡처 중 지지 구조물에 의한 가림막으로 인한 신경 밀도 필드의 모호성을 줄이기 위해.
• 다양한 카메라와 조명 패tern 간에 일관된 색상과 조명 캘리브레이션을 확보하기 위해.
• 정답 조명과 물체 마스크를 사용하여 재조명 성능의 정량적이고 재현 가능한 평가를 가능하게 하기 위해.
• 최신 기술 수준의 역렌더링 방법을 실제 재료에서 비교 평가하기 위한 표준화된 벤치마크를 제공하기 위해.

제안 방법

• 2미터 구형 조명 스테이션과 142개의 LED 램프, 동기화된 다중 시점 카메라를 사용하여 64개의 실제 물체를 촬영하였다.
• 가림막으로 인한 밀도 모호성을 해결하기 위해 학습 중에 물체와 지지 구조물을 모두 포함한 병합 마스크(com_mask)를 사용하였다.
• 정확한 조명 캘리브레이션 파rameter(반지름 및 중심)를 복원하기 위해 흑색으로 채운 프론트포지션과 구형 피팅이 적용된 크롬 거울 볼을 사용하였다.
• NeuS를 적용하여 거울 볼을 재구성하고 정확한 조명 방향 계산을 위한 캘리브레이션 기하학을 추출하였다.
• 모든 카메라에서 일관된 카메라 설정(ISO 100, F16, 1/5초 셔터 스피드, 일광 화이트 밸런스)을 설정하여 내재적 색상 변동을 최소화하였다.
• 3D 프린팅된 초록색 실린더와 투명 필터를 사용한 카메라 일관성 실험에서, 카메라 간 색상 차이가 1% 미만임을 확인하였다.

Figure 1: (a) Two types of supporting devices used in our dataset. (b) We use the combined masks for training to eliminate density ambiguity.

실험 결과

연구 질문

• RQ1 학습 마스크에 지지 구조물이 포함될 경우, 역렌더링에서 밀도 필드 네트워크의 성능에 어떤 영향을 미치는가?
• RQ2 다중조명 역렌더링 방법은 실제 물체에 대해 새로운 조명 조건으로 얼마나 잘 일반화되는가?
• RQ3 동일한 설정에서 동일한 카메라 간 색상 반응은 얼마나 일관된가? 이를 신뢰할 수 있는 평가에 활용할 수 있는가?
• RQ4 표면 반사율(예: 확산 반사 대 반사성 반사)은 실제 역렌더링에서 재조명 품질에 어떤 영향을 미치는가?
• RQ5 정답 조명과 마스크를 갖춘 표준화된 공개 데이터셋은 역렌더링 방법의 공정하고 재현 가능한 벤치마킹을 가능하게 하는가?

주요 결과

• TensoIR는 직물 물체에서 평균 PSNR 28.00, 왁스 물체에서 43.36을 기록하여 고반사 재료에서 뛰어난 성능을 보였다.
• 확산 표면(예: 종이, 직물)은 반사 표면(예: 물체 52, 머리카락)보다 높은 재조명 PSNR(예: 물체 60에서 36.66)를 기록하였다.
• 카메라 일관성 실험에서 인접한 카메라 간 색상 차이가 약 1% 미만으로 나타나, 후처리 없이도 내재적 변동이 최소임을 검증하였다.
• 학습 마스크에 지지 구조물을 포함시킴으로써 밀도 모호성이 크게 감소하고 재구성 안정성이 향상되었다.
• 정답 조명을 제공함으로써 이 데이터셋은 64종의 다양한 재료에서 일관된 PSNR 결과를 보이며 신뢰할 수 있는 재조명 평가를 가능하게 하였다.
• 왁스 물체(ID 34)에서 최고의 재조명 PSNR 46.66를 기록하여 복잡한 BRDF를 가진 재료에서 뛰어난 성능을 보였다.

Figure 2: 13 kinds of light patterns in our dataset, shown as an environment map.