[논문 리뷰] Texture Synthesis Using Shallow Convolutional Networks with Random Filters

Ivan Ustyuzhaninov, Wieland Brendel외 2명|arXiv (Cornell University)|2016. 05. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 10인용 수 32

한 줄 요약

이 논문은 무작위로 초기화된, 훈련되지 않은 필터를 가진 얕은 합성곱 신경망이 상태의 최신 기법보다 뛰어나거나 이를 능가하는 인지적 품질을 갖는 자연 텍스처를 효과적으로 모델링하고 합성할 수 있음을 보여준다. 깊이 있는 사전 훈련된 네트워크에 기반한 최신 기법들과 경쟁할 수 있는 높은 인지적 정밀도를 달성하기 위해 단일 합성곱 레이어와 무작위 필터를 사용하면서 아키텍처를 단순화하고 지도 학습의 필요성을 제거한다.

ABSTRACT

Here we demonstrate that the feature space of random shallow convolutional neural networks (CNNs) can serve as a surprisingly good model of natural textures. Patches from the same texture are consistently classified as being more similar then patches from different textures. Samples synthesized from the model capture spatial correlations on scales much larger then the receptive field size, and sometimes even rival or surpass the perceptual quality of state of the art texture models (but show less variability). The current state of the art in parametric texture synthesis relies on the multi-layer feature space of deep CNNs that were trained on natural images. Our finding suggests that such optimized multi-layer feature spaces are not imperative for texture modeling. Instead, much simpler shallow and convolutional networks can serve as the basis for novel texture synthesis algorithms.

연구 동기 및 목표

• 무작위 필터를 가진 얕고 훈련되지 않은 합성곱 신경망이 효과적인 텍스처 합성 모델이 될 수 있는지 조사하기.
• 다층, 사전 훈련된 깊은 네트워크가 고품질 텍스처 합성을 위해 필수적이라는 일반적인 가정을 도전하기.
• 무작위 특징 공간이 인지적으로 설득력 있는 텍스처 생성에 필요한 정도로 공간 상관관계와 통계적 성질을 포괄할 수 있는지 평가하기.
• 간단하고 최적화되지 않은 특징 공간을 사용할 때 인지적 품질과 변동성 사이의 상호 관계를 탐색하기.

제안 방법

• ReLU 활성화 함수를 사용하고, 스트라이드 1의 컨볼루션 및 공간 차원을 유지하는 패딩을 적용한 단일 레이어 합성곱 신경망을 사용한다.
• 필터는 균일 분포에서 무작위로 초기화되거나, 푸리에 기저 함수, ImageNet 패치의 k-means 군집, 자연 이미지 패치의 주성분 분석(PCA)을 통해 유도된다.
• 무작위 네트워크 레이어의 특징 활성화의 그램 행렬을 일치시키기 위해 생성된 이미지를 최적화하여 텍스처 합성을 수행한다.
• 최적화 과정은 특징 통계를 기반으로 한 인지적 거리 척도를 사용하며, 그램 행렬을 딱딱한 제약 조건이 아닌 부드러운 제약 조건으로 간주한다.
• 고정 크기(11×11×3)와 다중 척도 필터(3×3에서 55×55까지)를 포함한 다양한 필터 구성이 테스트되었으며, 특징 맵의 수는 363에서 3267까지 다양하다.
• 입력 이미지는 채널별 평균 강도를 빼서 DC 성분을 제거하기 위해 사전 처리된다.

실험 결과

연구 질문

• RQ1 무작위로 초기화되고 훈련되지 않은 단일 레이어 합성곱 네트워크가 실제 텍스처와 인지적으로 구별되지 않는 텍스처를 생성할 수 있는가?
• RQ2 깊은 네트워크의 계층적 다층 표현이 고품질 텍스처 합성을 위해 여전히 필수적인가?
• RQ3 무작위 필터를 사용한 합성의 인지적 품질이 사전 훈련된 깊은 네트워크 기반의 최신 기법과 비교해 어떻게 되는가?
• RQ4 무작위 특징 공간이 텍스처의 장거리 공간 상관관계를 어느 정도 유지하는가?
• RQ5 최적화 절차가 단순한 특징 공간을 사용할 때 높은 인지적 품질을 달성하는 데 어떤 역할을 하는가?

주요 결과

• 무작위 필터를 가진 얕은 합성곱 신경망이 깊이 있는 사전 훈련된 VGG 네트워크에 기반한 최신 기법과 경쟁하거나 이를 능가하는 텍스처 합성 품질을 달성한다.
• 수신 필드 크기보다 큰 척도에서의 공간 상관관계를 성공적으로 포착함으로써, 장거리 구조가 무작위 특징 공간에 암묵적으로 포함되어 있음을 시사한다.
• 사람의 인지 평가에서 무작위 필터를 사용한 합성 텍스처는 특히 기준 텍스처에 대한 충실도 측면에서 훈련된 네트워크에서 생성된 텍스처보다 종종 뛰어난 성능을 보였다.
• 훈련 없이도 무작위 필터를 사용함으로써 높은 인지 유사도를 달성함으로써, 효과적인 텍스처 모델링을 위해 깊은 특징의 지도 학습이 반드시 필요하지 않다는 것을 시사한다.
• 소수의 제약 조건(그램 행렬)만으로도 고품질 결과를 도출할 수 있지만, 인지적 품질은 제약 조건의 선택과 최적화 튜닝에 따라 결정적으로 영향을 받는다.
• 사례 연구에 따르면 일부 기준 텍스처는 합성 과정에서 정확하게 재구성되는 경우가 있으며, 이는 유한한 크기 조건 하에서 제약 공간이 정확한 일치를 허용할 수 있음을 시사한다.