[논문 리뷰] Diversified Texture Synthesis with Feed-forward Networks

Yijun Li, Fang Chen외 4명|arXiv (Cornell University)|2017. 03. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 25

한 줄 요약

이 논문은 공유 아키텍처를 사용하여 다수의 예시로부터 다양하게 텍스처를 합성하는 단일 딥 생성 피드포워드 네트워크를 제안한다. 이로써 사용자 제어가 가능한 스타일 선택과 보간이 가능해지며, 다양성 손실과 점진적 훈련을 도입함으로써 다양한 텍스처에서 고품질의 출력을 유지하면서도 효율성과 단일 텍스처 네트워크를 초월한 일반화 능력을 확보한다.

ABSTRACT

Recent progresses on deep discriminative and generative modeling have shown promising results on texture synthesis. However, existing feed-forward based methods trade off generality for efficiency, which suffer from many issues, such as shortage of generality (i.e., build one network per texture), lack of diversity (i.e., always produce visually identical output) and suboptimality (i.e., generate less satisfying visual effects). In this work, we focus on solving these issues for improved texture synthesis. We propose a deep generative feed-forward network which enables efficient synthesis of multiple textures within one single network and meaningful interpolation between them. Meanwhile, a suite of important techniques are introduced to achieve better convergence and diversity. With extensive experiments, we demonstrate the effectiveness of the proposed model and techniques for synthesizing a large number of textures and show its applications with the stylization.

연구 동기 및 목표

• 기존 피드포워드 텍스처 합성 방법의 한계를 해결하기 위해 일반화 능력 부족, 낮은 다양성, 최적화되지 않은 시각적 품질을 개선한다.
• 단일 신경망 내에서 여러 텍스처를 합성함으로써 각 텍스처에 대해 별도의 네트워크가 필요로 하는 것을 방지한다.
• 노이즈 입력이 출력 변동성에 의미 있게 기여하도록 보장하여 '해석 제거 효과'를 완화함으로써 샘플 다양성을 향상시킨다.
• 다양한 복잡도와 시각적 특성을 지닌 텍스처 간에 안정적이고 효과적인 학습이 가능하도록 훈련 전략을 개발한다.

제안 방법

• 노이즈 벡터와 원핫 스타일 선택 유닛을 입력으로 받아 텍스처 이미지를 생성하는 업컨볼루션을 사용한 생성기 네트워크를 사용한다.
• 모든 업샘플링 레이어에서 스타일 가이던스를 주입하는 선택기 네트워크를 도입하여 서로 다른 텍스처 간의 구별 능력을 향상시킨다.
• 훈련 안정성과 수렴 성능 향상을 위해 특징 행렬의 평균을 빼는 방식으로 수정된 그람 행렬 손실을 제안한다.
• 미니배치 내 서로 다른 샘플 간의 특징 유사도를 페널티로 줄여 노이즈 벡터에 의해 유도되는 다양성을 장려하는 다양성 손실을 설계한다.
• 이미 학습된 텍스처들에 대해 잘 정착된 후에만 새로운 텍스처에 대해 순차적으로 네트워크를 훈련시키는 점진적 학습 전략을 구현한다. 이로써 이전 능력을 유지할 수 있다.
• 원핫 스타일 식별자를 낮은 차원의 벡터로 매핑하기 위해 학습 가능한 임베딩 레이어를 사용하여 보간 가능성을 높이고 중복을 줄인다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 피드포워드 네트워크가 다수의 텍스처에 대해 다양하게 출력을 일반화할 수 있는가?
• RQ2 각 텍스처에 대해 높은 시각적 품질을 유지하면서도 다양한 샘플을 생성하기 위해 네트워크를 어떻게 훈련시킬 수 있는가?
• RQ3 통계적 및 시각적 특성이 크게 다른 텍스처 간에 훈련을 안정적으로 유지하기 위해 효과적인 훈련 전략과 손실 함수는 무엇인가?
• RQ4 학습 가능한 스타일 표현을 사용하여 피드포워드 방식으로 텍스처 간에 의미 있는 보간을 달성할 수 있는가?

주요 결과

• 제안된 모델은 단일 공유 아키텍처를 사용함으로써 단일 텍스처 네트워크와 비교해 비슷하거나 더 뛰어난 시각적 품질을 달성하면서 모델 크기를 크게 줄였다.
• 다양성 손실이 노이즈 벡터의 영향을 무시하는 것을 방지하여, 동일한 텍스처와 노이즈 입력에 대해서도 인지적으로 구별 가능한 출력을 유도한다.
• 점진적 학습 전략은 특히 다양한 텍스처가 많은 대규모 데이터셋에서 학습할 경우 더 빠르고 안정적인 수렴을 이끌어낸다.
• 선택 유닛의 가중치를 조정하여 네트워크가 부드러운 스타일 보간을 가능하게 하여 서로 다른 텍스처 간 자연스러운 전환을 생성한다.
• 임베딩 레이어는 텍스처 간의 의미적 관계를 성공적으로 포착하여 의미 있는 보간을 가능하게 하며, 원핫 인코딩의 중복을 줄였다.