[논문 리뷰] Solid Texture Synthesis using Generative Adversarial Networks

Xin Zhao, Lin Wang외 4명|arXiv (Cornell University)|2021. 02. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 4

한 줄 요약

이 논문은 2차원 예시 분포를 특징 없이 체적 연산을 통해 학습하는 GAN 기반의 고체 텍스처 합성 방법인 STS-GAN을 제안한다. 다중 척도 판별자들을 활용해 예시 패치와 생성된 체적 슬라이스를 비교함으로써, 입력 예시에 강한 시각적 유사성을 유지하는 고품질의 현실적인 3차원 텍스처를 생성한다.

ABSTRACT

Solid texture synthesis, as an effective way to extend 2D exemplar to a volumetric texture, exhibits advantages in numerous application domains. However, existing methods generally suffer from synthesis distortion due to the under-utilization of information. In this paper, we propose a novel approach for the solid texture synthesis based on generative adversarial networks(GANs), named STS-GAN, learning the distribution of 2D exemplars with volumetric operation in a feature-free manner. The multi-scale discriminators evaluate the similarities between patch exemplars and slices from generated volume, promoting the generator to synthesize realistic solid texture. Experimental results demonstrate that the proposed method can synthesize high-quality solid texture with similar visual characteristics to the exemplar.

연구 동기 및 목표

• 기존 고체 텍스처 합성 방법의 한계를 해결하기 위해, 예시 정보를 충분히 활용하지 못해 발생하는 합성 왜곡 문제를 해결한다.
• 수작업으로 만든 특징에 의존하지 않고도 2차원 텍스처 예시를 고품질의 3차원 체적 텍스처로 효과적으로 확장할 수 있는 방법을 개발한다.
• 다중 척도 판별자를 활용한 적대적 훈련을 통해 합성된 고체 텍스처의 현실성과 구조적 일관성을 향상시킨다.
• 특징 없이 2차원 예시 분포를 학습하여 3차원 생성 과정에서 시각적 특징을 유지할 수 있도록 한다.

제안 방법

• 2차원 예시에서 고체 텍스처 합성을 위해 특별히 설계된 생성 적대적 네트워크 아키텍처인 STS-GAN을 제안한다.
• 생성 과정에서 2차원 예시를 3차원 텍스처로 변환하기 위해 체적 연산을 사용하여 공간 일관성을 확보한다.
• 생성된 체적에서 추출한 슬라이스와 예시 패치 간의 국소적 패치 유사성을 평가하기 위해 다중 척도 판별자를 구현한다.
• 다양한 척도에서 실제 예시 패치와 구분이 가지 않는 슬라이스를 생성함으로써 판별자를 속이도록 생성자에 대해 적대적으로 훈련한다.
• 중간 특징 표현을 필요로 하지 않는 특징 없는 학습 전략을 적용하여 2차원 예시 분포를 직접 모델링한다.
• 적대적 손실을 사용하여 생성자와 판별자를 종합적으로 최적화함으로써 현실성과 구조적 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 수작업 특징에 의존하지 않고 2차원 예시에서 고품질의 3차원 고체 텍스처를 효과적으로 합성할 수 있는 GAN 기반 접근법이 가능한가?
• RQ2 다중 척도 판별은 합성된 체적 텍스처의 현실성과 일관성을 어떻게 향상시키는가?
• RQ3 체적 연산은 2차원 예시의 시각적 특징을 3차원 공간에서 얼마나 잘 유지하는가?
• RQ4 특징 없는 학습 전략은 중간 특징 설계에 의존하는 방법보다 고체 텍스처 합성에서 우월한 성능을 보이는가?

주요 결과

• 제안된 STS-GAN 방법은 입력 2차원 예시와 강한 유사성을 유지하는 고품질의 3차원 텍스처를 성공적으로 합성한다.
• 다중 척도 판별자를 사용함으로써 생성된 텍스처 슬라이스의 현실성이 크게 향상되어 국소 패치 수준의 일관성이 강화된다.
• 특징 없는 학습 전략은 2차원 예시의 분포 모델링을 효과적으로 가능하게 하여 합성된 체적에서의 왜곡을 감소시킨다.
• 실험 결과, STS-GAN이 시각적 특징을 유지하고 합성 아티팩트를 최소화하는 데 있어 기존 방법들을 능가함을 확인하였다.