[논문 리뷰] Gloss, Color and Topography Scanning for Reproducing a Painting's Appearance using 3D printing

Willemijn S. Elkhuizen, Tessa T. W. Essers외 5명|arXiv (Cornell University)|2019. 10. 23.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 고해상도 물리적 복제를 위한 3D 스캐닝 및 3D 프린팅 시스템을 제안하며, 그림의 공간적으로 변화하는 광택, 색상, 표면 형상 특성을 정확히 캡처하고 재현한다. 브류스터 각도 근처에서 투과된 반사광의 편광 원리를 활용한 특이 반사광 측정과, 고도 맵을 이용한 중심에서 벗어난 측정값 및 표면 그림자 보정을 통해, 그림당 8시간 이내에 시각적으로 정확한 복제를 달성한다.

ABSTRACT

High fidelity reproductions of paintings provide new opportunities to museums in preserving and providing access to cultural heritage. This paper presents an integrated system which is able to capture and fabricate color, topography and gloss of a painting, of which gloss capturing forms the most important contribution. A 3D imaging system, using fringe-encoded stereo imaging, is extended to capture spatially-varying gloss, utilizing specular reflectance polarization. The gloss is measured by sampling the specular reflection around Brewster's angle, where these reflections are effectively polarized, and can be separated from the unpolarized, diffuse reflectance. Off-center gloss measurements are calibrated relative to the center measurement. Off-specular gloss measurements, following from local variation of the surface normal, are masked based on the height map and corrected. Shadowed regions, caused by the 3D relief, are treated similarly. The area of a single capture is approximately 180x90mm at a resolution of 25x25micron. Aligned color, height, and gloss tiles are stitched together, registering overlapping color areas. These maps are inputs for a 3D printer. Two paintings were reproduced to verify the effectiveness and efficiency of the proposed system. One painting was scanned four times, consecutively rotated by 90 degrees, to evaluate the influence of the scanning system geometric configuration on the gloss measurement. Experimental results show that the method is sufficiently fast for practical application. The results can well be used for the purpose of physical reproduction and other applications needing first-order estimates of the appearance. Our method to extend appearance scanning with gloss measurements is a valuable addition in the quest for realistic reproductions, in terms of its practical applicability and its perceptual added value, when added to color and topography.

연구 동기 및 목표

• 그림의 시각적 외관, 특히 광택, 색상, 3차원 표면 형상 특성을 정확히 반영하는 고정밀 물리적 복제를 가능하게 하기 위해.
• 이전 3D 프린팅 시스템이 일관된 광택 표면을 생성하여 원본 그림의 자연스러운 광택의 공간적 변화를 재현하지 못하는 한계를 해결하기 위해.
• 박물관 폐관 시간 동안 사용 가능한 대규모 영역(최대 1.25×2.5 m)을 25 µm 이내의 해상도로 신속하고 실용적인 통합 스캔 파이프라인을 개발하기 위해.
• 색상과 형상 외에도 광택의 공간적 변화를 측정하고 재현할 수 있는 강력한 방법을 도입하여 외관 스캔의 범위를 확장하기 위해.
• 바르호프 스타일의 두 그림에 대한 사례 연구를 통해 광택 재현이 색상과 형상과 함께 병합되었을 때의 시각적 현실감을 검증하기 위해.

제안 방법

• 스테레오 영상 시스템에 무늬 투사 기술을 통합하여 3차원 형상과 색상을 캡처하고, 반사광의 편광 원리를 활용해 공간적으로 변화하는 광택을 측정하도록 확장한다.
• 브류스터 각도 근처에서 특이 반사광이 선형 편광되며, 투과된 산란 반사광과 분리될 수 있음을 이용하여 편광 필터를 적용한다.
• 중앙 校정 지점에 기반한 수학적 정규화 모델을 적용하여 중심에서 벗어난 광택 측정값의 편차를 보정한다.
• 캡처된 고도 맵을 사용해 국소 표면 법선 변화 및 그림자 영역을 마스킹하고, 주변 영역의 보간된 광택 값으로 채운다.
• 겹치는 색상 영역를 등록 마커로 사용하여 오프라인으로 색상, 고도, 광택 타일을 정렬하고 스티칭한다.
• 통합된 지apap (색상, 고도, 광택) 지도를 폴리젯 3D 프린터로 이송하여 물리적으로 정확한 복제를 제작한다.

실험 결과

연구 질문

• RQ1 브류스터 각도 근처에서 편광 기반 특이 반사광 측정을 통해 그림의 공간적으로 변화하는 광택을 정확히 캡처할 수 있는가?
• RQ2 중심에서 벗어난 광택 측정값과 국소 표면 법선 변화는 광택 캡처 정확도에 어떤 영향을 미치며, 고도 맵 데이터를 통해 이를 보정할 수 있는가?
• RQ3 색상과 형상과 함께 공간적으로 변화하는 광택을 포함했을 때, 3D 프린트 복제의 시각적 현실감은 어느 정도 향상되는가?
• RQ4 이 스캔 시스템은 박물관과 같은 문화유산 기관에서 폐관 시간 동안 실용적으로 사용 가능한지 빠르고 견고한가?
• RQ5 폴리젯 3D 프린팅에서의 광택 측정값과 출력 가능한 광택 수준 간의 상관관계는 어떠하며, 최적의 시각적 정확도를 확보하기 위해 어떤 매핑 전략이 필요한가?

주요 결과

• 시스템은 단일 통합 파이프라인을 통해 공간적으로 변화하는 광택, 색상, 형상을 성공적으로 캡처하고 재현하며, 그림당 8시간 이내로 스캔를 완료한다.
• 수학적 정규화 모델을 통해 중심에서 벗어난 광택 측정값의 편차를 감소시켜 스캔 영역 전반에 걸친 일관성을 향상시킨다.
• 그림자 영역 및 국소 표면 법선 변화가 심한 영역은 고도 맵을 활용해 마스킹하고 주변 영역의 보간된 광택 값으로 채워져 공간 정확성이 유지된다.
• 두 명작(두 싸우는 자의 형상, 해바라기)의 복제 결과는 광택을 색상과 형상과 함께 병합했을 때 시각적으로 설득력 있는 결과를 만들어내며, 균일한 광택 표면을 가진 프린트에 비해 시각적 현실감이 크게 향상됨을 보여준다.
• 스캔 방향(90도 회전)이 최종 프린트 품질에 미치는 영향은 미미하여, 기하학적 구성 변화에 대해 시스템의 강건성을 확인할 수 있다.
• 광택을 색상과 형상과 함께 재현했을 때만 시각적 추가 가치가 확인되며, 광택을 단독으로 재현했을 땐 그렇지 않음을 통해 다중 속성 외관 캡처의 중요성을 확인한다.