[논문 리뷰] Incorporating long-range consistency in CNN-based texture generation

G. Berger, Roland Memisevic|arXiv (Cornell University)|2016. 06. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 24

한 줄 요약

이 논문은 가티스 등이 제안한 신경망 스타일 전이 방법에 장거리 공간 일관성을 도입하기 위해 특성 맵 변환을 통한 수정을 제안한다. 이는 전역 구조, 대칭성, 그리고 인painting 및 계절 전이에서의 성능 향상을 위한 질서 있는 텍스처 생성을 가능하게 한다. 이 방법은 변환된 특성 맵을 이용해 글라라 매트릭스 내에서 공간 위치 간의 일관성을 강제함으로써 생성된 이미지의 시각적 일관성을 크게 향상시킨다.

ABSTRACT

Gatys et al. (2015) showed that pair-wise products of features in a convolutional network are a very effective representation of image textures. We propose a simple modification to that representation which makes it possible to incorporate long-range structure into image generation, and to render images that satisfy various symmetry constraints. We show how this can greatly improve rendering of regular textures and of images that contain other kinds of symmetric structure. We also present applications to inpainting and season transfer.

연구 동기 및 목표

• 기존의 CNN 기반 텍스처 생성 방법이 장거리 공간 상관관계와 전역 구조를 포착하는 데에 한계가 있음을 해결하기 위해.
• 기존의 글라라 기반 방법이 생성하지 못하는 규칙적이고 대칭적이며 구조적인 텍스처를 생성할 수 있도록 하기 위해.
• 결손 영역과 주변 콘텐츠 간의 일관성을 강제하여 인painting 및 계절 전이와 같은 애플리케이션으로 텍스처 생성을 확장하기 위해.
• 원시 특성 대신 변환된 특성 맵에서 작동하는 단순하면서도 효과적인 글라라 손실의 수정을 도입하기 위해.

제안 방법

• 특성 맵에 공간 변환(예: 이동, 반사)을 적용한 후 상관관계를 계산하는 수정된 글라라 손실을 도입한다.
• 글라라 행렬 계산에 변환된 특성 맵을 사용한다: $ G^{l}_{ij} = \langle F^{l}_{i:}, T(F^{l}_{j:}) \rangle $, 여기서 $ T $ 는 이동 또는 반사와 같은 공간 변환을 의미한다.
• 장거리 구조와 대칭성을 유지하기 위해 표준 스타일 손실 외에 변환 기반 손실을 추가로 적용한다.
• 표준 글라라 손실과 변환된 특성 일관성 손실을 모두 포함한 병합 손실을 최소화하기 위해 생성된 이미지에 대해 최적화를 수행한다.
• 마스크된 콘텐츠에서 초기화하고 이미지 경계에 $ L_2 $ 페널티를 추가함으로써 인painting에 적용한다.
• 계절 특성을 지닌 참조 이미지를 사용하고 이미지 전반에 걸쳐 구조적 일관성을 강제함으로써 계절 전이로 확장한다.

실험 결과

연구 질문

• RQ1 간단한 글라라 손실 수정을 통해 CNN 기반 텍스처 생성에 장거리 공간 일관성을 효과적으로 통합할 수 있는가?
• RQ2 제안된 방법은 기존의 기준 스타일 전이보다 더 정확하게 규칙적인 텍스처(예: 벽돌 벽)와 대칭 패턴을 생성할 수 있는가?
• RQ3 공간 위치 간의 특성 수준 일관성 강제가 인painting 작업 성능 향상에 기여하는가?
• RQ4 반사 또는 이동 대칭성과 같은 다른 유형의 구조적 제약으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 기존 기준 방법이 생성하지 못하는 일관된 정렬과 간격을 지닌 벽돌 벽과 같은 규칙적인 텍스처를 성공적으로 생성한다.
• 결손 영역과 주변 콘텐츠 간의 전역 구조와 연속성을 유지함으로써 인painting 결과를 크게 향상시킨다.
• 계절 전이에서 하늘 색상과 낙엽 분포와 같은 전역 특징을 더 잘 유지하며, 시각적 일관성에서 기준 스타일 전이를 능가한다.
• 구조적이지 않은 텍스처에서도 시각적 품질을 유지하거나 향상시키며 다양성이나 품질을 떨어뜨리지 않는다.
• 뒤집힌 특성 맵을 통한 대칭 제약 추가가 추상적인 대칭 패턴에서 대칭적인 구조를 성공적으로 강제함을 입증하였다.
• 기준 스타일 전이보다 더 높은 구조적 정밀도를 달성하면서도 계산 효율성이 높고 기존 최적화 프레임워크와 호환된다.