[논문 리뷰] Improving the Neural Algorithm of Artistic Style

Roman Novak, Yaroslav Nikulin|arXiv (Cornell University)|2016. 05. 15.

Generative Adversarial Networks and Image Synthesis인용 수 15

한 줄 요약

이 논문은 활성화 이동, 다층 특징 상관관계, 기하학적 가중치 부여를 통해 스타일 표현을 향상시켜, 특히 전경과 배경이 뚜렷한 복잡한 시나리오에서 보다 일관되고 시각적으로 조화로운 스타일 전이를 달성한다. 계산 비용이 증가함에도 불구하고 다양한 스타일 이미지에서 성능 향상이 관찰된다.

ABSTRACT

In this work we investigate different avenues of improving the Neural Algorithm of Artistic Style (by Leon A. Gatys, Alexander S. Ecker and Matthias Bethge, arXiv:1508.06576). While showing great results when transferring homogeneous and repetitive patterns, the original style representation often fails to capture more complex properties, like having separate styles of foreground and background. This leads to visual artifacts and undesirable textures appearing in unexpected regions when performing style transfer. We tackle this issue with a variety of approaches, mostly by modifying the style representation in order for it to capture more information and impose a tighter constraint on the style transfer result. In our experiments, we subjectively evaluate our best method as producing from barely noticeable to significant improvements in the quality of style transfer.

연구 동기 및 목표

• 특히 전경과 배경이 뚜렷한 복잡한 시나리오에서 시각적 잡음과 일관성 없는 질감 적용 문제를 해결한다.
• Gatys 등이 제안한 알고리즘의 원래 스타일 표현을 향상시켜 스타일의 더 복잡한 통계적 특성을 포착한다.
• 활성화 이동을 통해 그람 행렬의 모호성을 줄이고 수렴성 및 시각적 품질을 향상시킨다.
• 더 많은 층과 층 간 상관관계를 통해 스타일 표현을 확장하면 전이 정밀도가 향상되는지 탐색한다.
• 간단한 스타일 특징을 우선시하는 기하학적 가중치 부여 방식을 통해 콘텐츠 손실과 스타일 손실을 더 효과적으로 균형 잡는다.

제안 방법

• 각 특징 맵의 최소 활성화 값을 빼는 활성화 이동을 도입하여 그람 행렬의 0 요소에 대한 모호성을 제거한다.
• 원래의 5개 층에서 16개 층으로 스타일 표현을 확장하여 더 세밀한 스타일 통계를 포착한다.
• 연속된 층 간 특징 상관관계의 사슬을 제안하며, 인접한 층의 특징 맵 간 상관관계(예: conv4_2에서 conv5_4로)를 계산하여 스타일 표현을 풍부하게 한다.
• 스타일 손실에 기하학적 가중치 부여 방식을 적용하여 하위 층에 더 높은 가중치를 주어 단순하고 더 견고한 스타일 특징을 강조한다.
• 심층 층(conv4_2)에서의 콘텐츠 손실과 이동 및 연결된 상관관계를 포함한 다중 층에서의 향상된 스타일 손실을 조합한 수정된 손실 함수를 사용한다.
• 백프로파게이션을 통한 반복 최적화를 활용하여 병합된 손실을 최소화하고, 콘텐츠 및 스타일 입력으로부터 스타일화된 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 더 많은 층과 층 간 상관관계를 포함한 스타일 표현 향상이 더 일관되고 시각적으로 타당한 스타일 전이를 이끌 수 있는가?
• RQ2 그람 행렬에서의 활성화 이동이 다양한 스타일 이미지에서 모호성을 줄이고 수렴성 및 시각적 품질을 향상시키는가?
• RQ3 스타일 손실에 기하학적 가중치 부여 방식이 콘텐츠와 스타일을 더 효과적으로 균형 잡는 데 기여하는가, 특히 복잡한 시나리오에서?
• RQ4 제안된 수정 사항이 원래 Gatys 등의 방법과 CNN-MRF에 비해 시각적 조화성과 잡음 감소 측면에서 어떻게 비교되는가?
• RQ5 이러한 개선 사항이 균일한 영역 스타일 적용과 서로 다른 영역에 대해 구분된 스타일 적용이라는 이중 기준을 어느 정도 충족하는가?

주요 결과

• 활성화 이동은 모든 테스트 스타일 이미지에서 수렴 속도를 크게 향상시키고 시각적 잡음을 감소시켰으며, 주관적 평가에서도 일관된 향상이 관찰되었다.
• 원래의 5개 층에서 16개 층으로 스타일 표현을 확장함으로써 복잡한 시나리오, 특히 전경과 배경이 뚜렷한 경우 더 세밀하고 조화로운 스타일 전이가 가능해졌다.
• 층 간 상관관계 사슬(예: conv4_2에서 conv5_4로)은 계층적인 스타일 패턴을 더 잘 포착할 수 있도록 모델의 능력을 향상시켜 질감 분할 현상을 줄였다.
• 기하학적 가중치 부여 방식은 고차원 특징에 대한 과적합을 줄였고, 비반복적인 스타일에 대해 특히 시각적 타당성이 높은 출력을 개선했다.
• 주관적 평가 결과, 개선 정도는 미약한 수준에서부터 뚜렷한 수준까지 다양했으며, 최적 설정(Chain Blurred)은 원래 방법과 CNN-MRF를 모두 초월해 일관성과 조화성에서 뛰어난 성능을 보였다.
• 다만 개선에도 불구하고 도전 과제는 남아 있다. 균일한 배경이 때로는 서로 다른 스타일로 분할되는 경우가 있으며, 전경 객체가 배경과 융합되는 경우가 있어 목표 기준의 부분적 이행이 이루어졌다.