[논문 리뷰] Neural Smoke Stylization with Color Transfer

Fabienne Christen, Byungsoo Kim외 2명|arXiv (Cornell University)|2019. 12. 18.

Computer Graphics and Visualization Techniques참고 문헌 17인용 수 3

한 줄 요약

이 논문은 운반 기반 신경 스타일 전이를 2D 및 3D 연기 시뮬레이션에 확장하기 위해, 먼저 구조적 유동 특징을 전달하고 나서 다른 가시성 있는 색상 렌더러를 사용해 색상을 최적화하는 새로운 이단계 방법을 도입한다. 이 방법은 예시 기반 색상 이미지를 사용하여 시간적으로 일관되고 일관성 있는 연기 시뮬레이션의 색상 스타일링을 가능하게 하며, 공간적 및 시간적 일관성을 확보하면서 높은 품질의 예술가 제어가 가능한 결과를 도출한다.

ABSTRACT

Artistically controlling fluid simulations requires a large amount of manual work by an artist. The recently presented transportbased neural style transfer approach simplifies workflows as it transfers the style of arbitrary input images onto 3D smoke simulations. However, the method only modifies the shape of the fluid but omits color information. In this work, we therefore extend the previous approach to obtain a complete pipeline for transferring shape and color information onto 2D and 3D smoke simulations with neural networks. Our results demonstrate that our method successfully transfers colored style features consistently in space and time to smoke data for different input textures.

연구 동기 및 목표

• 기존 유동 기반 방법에서의 색상 제어 부족 문제를 해결하기 위해.
• 예술가가 예시 이미지를 사용하여 연기 시뮬레이션의 형태와 색상 외관을 모두 제어할 수 있도록 하기 위해.
• 구조적 스타일링과 색상 최적화를 분리함으로써 제어성과 일관성을 향상시키기 위한 이단계 파이프라인 개발을 위해.
• 다른 가시성 있는 색상 렌더러를 사용하여 프레임 간 공간적 및 시간적 일관성을 확보하기 위해.

제안 방법

• 이 방법은 이단계 파이프라인을 사용한다: 첫 번째 단계에서 스타일 이미지의 구조적 특징을 연기 밀도에 운반 기반 신경 스타일 전이(TNST)를 적용하여 전달한다.
• 두 번째 단계에서, 스타일링된 밀도에 표준 신경 스타일 전이(NST)를 적용하여 색상 스타일 최적화를 수행하며, 콘텐츠 손실 없이 수정된 초기화 방법을 사용해 퇄색 효과를 방지한다.
• 스타일링된 밀도에서 유도된 가이던스 마스크를 사용하여 최적화를 연기 존재 영역으로만 제한하며, 특징 표현과의 요소별 곱셈을 통해 이를 구현한다.
• 밀도를 발광 요소로 포함하고 투과율을 고려하여 현실적인 조명 효과를 구현하는 경량의 가시성 있는 색상 렌더러를 사용하여 레이를 따라 RGB 발광 값을 계산한다.
• 특징 복잡성과 스케일을 제어하기 위해 VGG-19 특징에서 'relu2_1' 및 'relu3_1' 레이어를 사용하며, 틀리기 기법을 사용해 더 작은 스케일의 구조를 생성한다.
• 전체 파이프라인은 엔드 투 엔드로 가시성 있으며, 300회 반복 동안 Adam 최적화기를 사용해 역전파를 통한 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 기존의 흐름 기반 방법에서 유도된 구조적 스타일링을 유지하면서 2D 및 3D 연기 시뮬레이션에 색상 정보를 효과적으로 전달할 수 있는가?
• RQ2 유체 시뮬레이션의 프레임 간 색상 스타일링을 어떻게 시간적으로 일관성 있게 만들 수 있는가?
• RQ3 콘텐츠 손실이 없는 조건에서 퇴색을 방지하기 위해 어떤 초기화 전략이 고급 품질의 색상 결과를 보장하는가?
• RQ4 최적화가 연기 밀도가 존재하는 영역에만 영향을 주도록 어떻게 제한할 수 있는가?
• RQ5 경량의 가시성 있는 렌더러는 과도한 계산 비용 없이도 고해상도의 색상 스타일링을 지원할 수 있는가?

주요 결과

• 이 방법은 2D 및 3D 연기 시뮬레이션에 입력 스타일 이미지의 형태와 색상 특징을 일관된 공간적 및 시간적 일관성으로 효과적으로 전달한다.
• 색상 최적화 단계에서 흰 잡음으로 초기화하면 퇴색 효과를 방지하고, 스타일링된 밀도만으로 초기화하는 것보다 시각적으로 열등한 결과를 얻는다.
• 가이던스 마스크는 색상 최적화를 연기 영역으로만 제한하여 잔상 감소에 효과적이며, 최종 마스크 적용으로 잔여 경계 오버플로우를 제거한다.
• 3D 결과는 다양한 시점 최적화와 가시성 있는 렌더러를 사용함으로써 일관된 3D 색상 스타일링이 가능하며, 2D 결과의 품질을 충족함을 보여준다.
• 단일 예시 이미지를 사용하여 예술가가 구조와 색상 양쪽을 제어할 수 있으며, 이는 유체 시뮬레이션의 예술적 표현력을 크게 향상시킨다.