[논문 리뷰] StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions

Lukas Höllein, Justin C. Johnson외 1명|arXiv (Cornell University)|2021. 12. 02.

Computer Graphics and Visualization Techniques인용 수 1

한 줄 요약

이 논문은 다중 시야 영상에서 유도된 깊이 및 시점 인식 손실을 활용하여 재구성된 실내 3D 메시에 대해 명시적 RGB 텍스처를 최적화하는 방식으로 3D 일관성 있는 스타일 전이를 위한 StyleMesh를 제안한다. 최적화 과정에서 메시의 깊이와 표면 법선을 활용함으로써, 아티팩트 없이 선명하고 시점에 의존하지 않는 스타일 전이를 달성하며, 기존 그래픽스 파이프라인을 통해 실시간 렲링을 가능하게 한다.

ABSTRACT

We apply style transfer on mesh reconstructions of indoor scenes. This enables VR applications like experiencing 3D environments painted in the style of a favorite artist. Style transfer typically operates on 2D images, making stylization of a mesh challenging. When optimized over a variety of poses, stylization patterns become stretched out and inconsistent in size. On the other hand, model-based 3D style transfer methods exist that allow stylization from a sparse set of images, but they require a network at inference time. To this end, we optimize an explicit texture for the reconstructed mesh of a scene and stylize it jointly from all available input images. Our depth- and angle-aware optimization leverages surface normal and depth data of the underlying mesh to create a uniform and consistent stylization for the whole scene. Our experiments show that our method creates sharp and detailed results for the complete scene without view-dependent artifacts. Through extensive ablation studies, we show that the proposed 3D awareness enables style transfer to be applied to the 3D domain of a mesh. Our method can be used to render a stylized mesh in real-time with traditional rendering pipelines.

연구 동기 및 목표

• 신경 기반 스타일 전이를 활용해 재구성된 3D 실내 환경에 예술적 스타일을 적용함으로써 2D 이미지 기반 방법을 넘어서는 것을 목표로 한다.
• 2D 기반 3D 스타일 전이에서 흔히 발생하는, 늘어나거나 일관되지 않은 크기의 패턴과 같은 시점 의존성 아티팩트를 해결한다.
• 3D 기하학적 정보(깊이 및 표면 법선)를 활용하여 세계 좌표계 기반의 일관성 있는 스타일 전이를 위한 텍스처 최적화를 이끌어낸다.
• 기존 그래픽스 파이프라인과 통합 가능한 명시적 렌더러블 텍스처를 생성하여 실시간 VR 렌더링을 가능하게 한다.
• 깊이 인식을 유지하면서 노이즈 또는 시점 왜곡으로 인한 왜곡 없이 고품질의 스타일 전이를 달성한다.

제안 방법

• 다중 카메라 시점에서의 스타일 전이 손실을 역전파하는 가역적 렌더링 파이프라인을 사용하여 3D 메시의 단일 명시적 RGB 텍스처를 최적화한다.
• 깊이 기반 손실 분할을 적용하여 깊이에 따라 다양한 스크린 스페이스 해상도로 이미지 패치를 렌더링함으로써 세계 좌표계에서 일관된 크기의 스타일 전이 패턴을 확보한다.
• 표면 법선과 시점 방향 간의 각도에 따라 스타일 손실을 가중함으로써 각도 인식 스타일 전이를 구현하고, 보다 좋은 시점에서의 세부 사항을 개선한다.
• 각 픽셀의 깊이 및 각도 가중치를 사용하여 역전파 동안 기울기를 스케일링하여 이산화 아티팩트를 감소시키고 부드러움을 향상시킨다.
• 다양한 스타일 이미지 해상도에서 그램 행렬을 계산하여 굵기에서 세밀함까지의 스타일 전이를 가능하게 하며, 경사진 각도에서는 더 굵은 세부 사항을 적용한다.
• 콘텐츠, 스타일, 깊이/각도 인식 정규화 항을 포함하는 복합 손실 함수를 최소화하여 정확도와 예술적 일관성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 2D 신경 기반 스타일 전이 방법을 재구성된 실내 메시에 적용하여 시점 의존성 아티팩트 없이 3D 일관성 있는 스타일 전이를 달성할 수 있는가?
• RQ2 깊이 및 표면 법선 정보를 어떻게 활용하여 다양한 시점에서 일관된 크기와 형태의 스타일 전이 패턴을 유지할 수 있는가?
• RQ3 각도 인식 최적화는 기존 2D 스타일 전이 방법에 비해 3D 메시의 스타일 텍스처 시각적 품질과 일관성에서 향상되는가?
• RQ4 결과로 생성된 스타일 텍스처는 기존 그래픽스 파이프라인을 통해 실시간으로 효율적으로 렌더링 가능한가?
• RQ5 기존의 3D 스타일 전이 및 영상 스타일 전이 베이스라인과의 정량적·정성적 비교에서 제안된 방법은 어떤가?

주요 결과

• 제안된 깊이 기반 최적화는 세계 좌표계에서 일관된 크기의 스타일 전이 패턴을 성공적으로 생성하여 시점 왜곡으로 인한 늘어짐 아티팩트를 제거한다.
• 각도 인식 스타일 전이로 인해 경사진 각도에서는 더 굵은 세부 사항을 적용하고, 보다 좋은 시점에서는 세부 사항을 정밀하게 다듬음으로써 시각적 일관성 향상이 이루어진다.
• 사용자 연구 결과, 85%의 참가자가 제안된 방법이 기준선 대비 눈에 띄는 늘어짐을 최소화하고 배경 패턴 크기를 줄이는 데서 더 선호됨을 확인했다.
• RGB 텍스처에 적용된 영상 스타일 전이 파이프라인에 비해 본 방법은 블러나 프레임 간 일관성 문제로 인한 노이즈 없이 더 선명하고 세밀한 스타일 전이를 달성한다.
• 단일 RTX 3090 GPU에서 3시간의 최적화 후 생성된 텍스처는 모델 기반 방법이 추론 시간에 순방향 전파가 필요한 것과 달리, 기존 그래픽스 파이프라인을 통해 실시간으로 렌더링 가능하다.
• 제거 실험 결과, 깊이 및 각도 인식 모두 3D 일관성 확보에 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 눈에 띄는 아티팩트와 인지적 품질 저하가 발생한다.