[논문 리뷰] Exploring the Neural Algorithm of Artistic Style

Yaroslav Nikulin, Roman Novak|arXiv (Cornell University)|2016. 02. 23.

Aesthetic Perception and Analysis참고 문헌 12인용 수 28

한 줄 요약

이 논문은 초모수 민감도, 대체 네트워크 아키텍처, 초기화 전략, 부분적 스타일/콘텐츠 레이어 분할을 탐색함으로써 신경 스타일 전이 알고리즘을 조사하고 확장한다. 국소적 스타일 표현을 제안하여 콘텐츠 인식 스타일 전이를 가능하게 하며, 공간적으로 인식하는 상관관계로 스타일 손실을 개선함으로써 조명과 질감과 같은 복잡한 예술적 특성의 전이가 향상됨을 입증한다.

ABSTRACT

We explore the method of style transfer presented in the article "A Neural Algorithm of Artistic Style" by Leon A. Gatys, Alexander S. Ecker and Matthias Bethge (arXiv:1508.06576). We first demonstrate the power of the suggested style space on a few examples. We then vary different hyper-parameters and program properties that were not discussed in the original paper, among which are the recognition network used, starting point of the gradient descent and different ways to partition style and content layers. We also give a brief comparison of some of the existing algorithm implementations and deep learning frameworks used. To study the style space further we attempt to generate synthetic images by maximizing a single entry in one of the Gram matrices $\mathcal{G}_l$ and some interesting results are observed. Next, we try to mimic the sparsity and intensity distribution of Gram matrices obtained from a real painting and generate more complex textures. Finally, we propose two new style representations built on top of network's features and discuss how one could be used to achieve local and potentially content-aware style transfer.

연구 동기 및 목표

• 다양한 초모수와 네트워크 아키텍처가 신경 스타일 전이 성능에 미치는 영향을 조사하기 위해.
• 초기화 전략(while noise, 콘텐츠 이미지, 스타일 이미지)이 최적화 수렴과 시각적 품질에 미치는 영향을 평가하기 위해.
• 스타일에서 콘텐츠 표현으로 하위 레이어 특징을 재할당함으로써 부분적 스타일 전이를 탐색하여 색상과 저수준 세부 정보를 유지하기 위해.
• 공간적으로 변화하는 스타일 상관관계를 캡처함으로써 콘텐츠 인식 스타일 전이를 가능하게 하는 국소적 스타일 표현을 개발하기 위해.
• 조명, 계절, 조명과 같은 미세한 예술적 특성의 전이가 수정된 스타일 손실 함수를 통해 가능할지 평가하기 위해.

제안 방법

• 다양한 초기화(while noise, 콘텐츠 이미지, 스타일 이미지)에서 L-BFGS 최적화를 사용하여 수렴 영역 효과를 연구한다.
• 스타일 전이에서 VGG-19, VGG-16, AlexNet, GoogLeNet을 비교하며, 작은 커널과 스트라이드 1 컨볼루션으로 세부 정보를 보존하는 VGG를 선호한다.
• 전역 그램 행렬을 공간적으로 제약된 상관관계 맵으로 대체하여 국소적 스타일 손실을 제안한다: $\mathcal{G}^{l}_{ij}(x,y) = \sum_{dx,dy} w(dx,dy) F^l_i(x+dx,y+dy) F^l_j(x+dx,y+dy)$.
• 글로벌 스타일-콘텐츠 공분산 손실을 도입한다: $E_l \sim \left\| \sum_{x,y} \left( \mathcal{F}^{c,l}_k(x,y) \mathcal{G}^{l}_{ij}(x,y) - \mathcal{P}^{c,l}_k(x,y) A^l_{ij}(x,y) \right) \right\|_2^2$, 여기서 $\mathcal{F}^{c,l}_k$는 가중 콘텐츠 반응이다.
• 작은 이미지에서 개념 증명을 위해 $s=0$ (픽셀 단위) 및 균일한 가중치를 사용한 국소 손실의 단순화된 버전을 테스트한다.
• 효율적 구현을 위해 Torch와 cunn 백엔드를 사용하며, Caffe와 cuDNN과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 VGG와 AlexNet과 같은 다양한 네트워크 아키텍처(예: VGG 대비 AlexNet)가 스타일 전이 결과의 품질과 세부 사항에 어떤 영향을 미치는가?
• RQ2 초기화(while noise, 콘텐츠 이미지, 스타일 이미지)가 스타일 전이의 수렴과 시각적 정밀도에 어떤 영향을 미치는가?
• RQ3 스타일에서 콘텐츠 표현으로 하위 레이어 특징을 재할당하면 색상과 저수준 콘텐츠를 유지하면서도 고수준 스타일 전이가 가능해지는가?
• RQ4 공간적으로 제약된 그램 행렬을 기반으로 한 국소적 스타일 표현은 복잡한 예술적 특성에 대해 콘텐츠 인식 스타일 전이를 가능하게 하는가?
• RQ5 공분산 기반 목적 함수를 통해 글로벌 스타일 손실을 지역적 스타일 변동, 예를 들어 조명과 계절 효과를 캡처하도록 확장하는 것은 가능한가?

주요 결과

• VGG-19는 작은(3×3), 스트라이드 1 컨볼루션 필터를 사용함으로써 세부 공간적 세부 정보를 보존하므로 스타일 전이에서 다른 네트워크보다 뛰어난 성능을 보인다.
• 콘텐츠 이미지에서 초기화하면 콘텐츠 구조를 유지함으로써 열등한 결과를 낳지만, 벤치마킹에는 노이즈 초기화가 더 효과적이다.
• 부분적 스타일 전이—스타일에서 콘텐츠 표현으로 하위 레이어 특징을 재할당함—은 원래 색상과 저수준 특징을 유지하면서도 고수준 스타일 전이를 가능하게 하였다.
• 공간적으로 제약된 그램 행렬을 통한 국소적 스타일 표현은 조명과 질감과 같은 복잡하고 비균일한 예술적 특성의 더 정확한 전이를 가능하게 하였다.
• 제안된 국소적 손실 함수는 계산 비용이 높지만, 작은 이미지에서의 가능성을 입증하였으며, 향후 최적화를 통해 콘텐츠 인식 스타일 전이의 잠재력을 보여준다.
• 국소적 손실의 단순화된 픽셀 단위 버전은 스타일 이미지를 콘텐츠 위에 직접 페int하는 결과를 낳았으며, 이는 현실적인 결과를 얻기 위해 공간적 맥락이 필수적임을 시사한다.