[논문 리뷰] Learning Graph Neural Networks for Image Style Transfer

Yongcheng Jing, Yining Mao외 5명|arXiv (Cornell University)|2022. 07. 24.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 국소 패치 수준에서 학습 가능한 세밀한 콘텐츠-스타일 대응 관계를 수립하기 위해 그래프 신경망(GNNs)을 사용하는 준모수적 신경 스타일 전이 프레임워크를 제안한다. 이 방법은 이질적인 그래프 내에서 콘텐츠 노드와 스타일 노드 간의 어텐션 기반 메시지 전달로 스타일 전이를 모델링함으로써 패치 불일치로 인한 아티팩트를 줄이고, 전반적인 스타일 일관성과 국소 세부 정보를 유지하며, 추론 시 동적 엣지 제어를 통해 영구적이고 다양한 출력을 얻는 데 성공한다.

ABSTRACT

State-of-the-art parametric and non-parametric style transfer approaches are prone to either distorted local style patterns due to global statistics alignment, or unpleasing artifacts resulting from patch mismatching. In this paper, we study a novel semi-parametric neural style transfer framework that alleviates the deficiency of both parametric and non-parametric stylization. The core idea of our approach is to establish accurate and fine-grained content-style correspondences using graph neural networks (GNNs). To this end, we develop an elaborated GNN model with content and style local patches as the graph vertices. The style transfer procedure is then modeled as the attention-based heterogeneous message passing between the style and content nodes in a learnable manner, leading to adaptive many-to-one style-content correlations at the local patch level. In addition, an elaborated deformable graph convolutional operation is introduced for cross-scale style-content matching. Experimental results demonstrate that the proposed semi-parametric image stylization approach yields encouraging results on the challenging style patterns, preserving both global appearance and exquisite details. Furthermore, by controlling the number of edges at the inference stage, the proposed method also triggers novel functionalities like diversified patch-based stylization with a single model.

연구 동기 및 목표

• 모수적 방법의 한계를 해결하기 위해, 전역 통계 일치로 인해 세밀한 국소 스타일 패tern을 유지하지 못하는 문제를 해결한다.
• 일对일 패치 매칭과 콘텐츠-스타일 불일치로 인해 발생하는 비모수적 방법의 아티팩트 문제를 해결한다.
• 패치 수준에서 적응형 다대일 스타일-콘텐츠 대응 학습이 가능한 준모수적 프레임워크를 개발한다.
• 추론 시 엣지 연결을 제어하여 단일 학습 모델로도 영구적이고 다양한 스타일 전이 출력을 얻는다.
• 기울기 조절 가능한 그래프 컨볼루션 연산을 통해 다중 스케일의 스타일-콘텐츠 매칭을 향상시킨다.

제안 방법

• 콘텐츠 및 스타일 특징 패치를 별개의 노드 유형으로 간주하는 이질적 그래프를 구성한다.
• 그래프 어텐션 네트워크(GAT)를 사용하여 어텐션 기반 메시지 전달을 수행하고, 각 콘텐츠 노드에 대해 가장 유사한 k개의 스타일 패치를 집계한다.
• 학습 가능한 스케일 예측기와 함께 기울기 조절 가능한 그래프 컨볼루션 레이어를 도입하여 다중 스케일 특징 매칭과 공간적으로 적응형 스트로크 생성을 가능하게 한다.
• 유사한 의미적 영역 간의 전반적 스타일 일관성을 유지하기 위해 콘텐츠 노드 간의 내부 도메인 엣지를 통합한다.
• 이질적 엣지 수립을 위한 유사도 측정 지표로 정규화된 상관관계(NCC)를 사용하며, 유클리드 거리보다 우수한 성능을 보인다.
• 추론 시 각 노드의 연결 수를 동적으로 조정하여 다양한 스타일 전이 출력을 가능하게 하며, 단일 모델로도 다수의 고유한 출력을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 학습 가능한 다대일 대응 관계가 비모수적 스타일 전이에서 패치 불일치로 인한 아티팩트를 줄일 수 있는가?
• RQ2 GNN은 세밀하고 적응형인 콘텐츠-스타일 관계를 효과적으로 모델링하여 국소 세부 정보 보존을 향상시킬 수 있는가?
• RQ3 기울기 조절 가능한 그래프 컨볼루션은 더 자연스럽고 공간적으로 적응형인 스트로크 생성을 위한 다중 스케일 스타일-콘텐츠 매칭을 가능하게 하는가?
• RQ4 추론 시 연결성 제어를 통해 단일 GNN 기반 모델이 얼마나 다양한 스타일 전이 출력을 생성할 수 있는가?
• RQ5 유클리드 거리 대신 NCC를 사용하면 그래프 내 콘텐츠-스타일 대응 품질이 향상되는가?

주요 결과

• 제안된 GNN 기반 방법은 전역 스트로크 배열과 국소 세밀한 패턴 모두에서 최신의 모수적 및 비모수적 방법을 능가하는 뛰어난 스타일 전이 성능을 달성한다.
• 정규화된 상관관계(NCC)를 유사도 측정 지표로 사용할 경우 유클리드 거리보다 유의미하게 더 우수한 결과를 얻으며, 특히 국소 세부 정보와 전반적 일관성을 유지하는 데 유리하다.
• 기울기 조절 가능한 그래프 컨볼루션 모듈은 공간적으로 적응형이며 다중 스케일의 스트로크 생성을 가능하게 하여, 스타일 전이 출력의 대비와 의미적 급격한 변화를 향상시킨다.
• 콘텐츠 노드 간의 내부 도메인 엣지를 통합함으로써 의미적으로 유사한 영역(예: 눈, 배경 등)에서 전반적 일관성이 향상된다.
• 노드당 연결 수를 다양하게 조정함으로써 단일 추론 프로세스로도 패치 기반의 다양한 스타일 전이 출력을 생성할 수 있으며, 사용자 제어 기반의 스타일 변형이 가능하다.
• 더 큰 패치 크기는 스타일 전이 출력에서 더 크고 두드러진 스트로크를 생성함으로써 스트로크 스케일에 대한 제어 가능성을 입증한다.