[논문 리뷰] A Powerful Generative Model Using Random Weights for the Deep Image Representation

Kun He, Yan Wang외 1명|arXiv (Cornell University)|2016. 06. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 49

한 줄 요약

이 논문은 훈련되지 않은, 무작위로 초기화된 깊은 합성곱 신경망(ranVGG)이 높은 품질의 이미지 복원, 텍스처 합성, 신경 스타일 전이를 수행할 수 있음을 보여준다. 이는 풀 트레이닝된 네트워크의 성능을 따라하거나 뛰어넘는 결과를 낸다. 이 방법은 학습된 가중치가 아닌 깊은 네트워크의 아키텍처 비선형성에 기반하며, 네트워크의 구조만으로도 깊이 있는 시각화 작업을 위한 강력한 생성 모델링을 가능하게 함을 보여준다.

ABSTRACT

To what extent is the success of deep visualization due to the training? Could we do deep visualization using untrained, random weight networks? To address this issue, we explore new and powerful generative models for three popular deep visualization tasks using untrained, random weight convolutional neural networks. First we invert representations in feature spaces and reconstruct images from white noise inputs. The reconstruction quality is statistically higher than that of the same method applied on well trained networks with the same architecture. Next we synthesize textures using scaled correlations of representations in multiple layers and our results are almost indistinguishable with the original natural texture and the synthesized textures based on the trained network. Third, by recasting the content of an image in the style of various artworks, we create artistic images with high perceptual quality, highly competitive to the prior work of Gatys et al. on pretrained networks. To our knowledge this is the first demonstration of image representations using untrained deep neural networks. Our work provides a new and fascinating tool to study the representation of deep network architecture and sheds light on new understandings on deep visualization.

연구 동기 및 목표

• 훈련된 네트워크가 아닌 무작위로 초기화된 깊은 신경망을 사용하여 깊이 있는 시각화 작업을 수행할 수 있는지 조사하는 것.
• 깊은 표현 학습에서 모델 훈련과 네트워크 아키텍처의 기여도를 분리하는 것.
• 깊은 합성곱 네트워크의 구조적 특성에만 기반한 생성 모델링 프레임워크를 개발하는 것.
• 무작위 가중치 네트워크가 사전 훈련된 모델이 생성하는 것과 유사한 시각적으로 현실적인 이미지를 생성할 수 있는지 평가하는 것.
• 훈련의 계산 비용 없이 네트워크 아키텍처를 분석할 수 있는 새로운 도구를 제공하는 것.

제안 방법

• 저자는 훈련 없이 고정된 무작위 합성곱 필터를 가진 VGG 스타일의 네트워크(ranVGG)를 사용하며, 추론 중에 가중치를 학습하지 않는다.
• 이미지 복원의 경우, 실제 이미지의 특징 활성화를 일치시키기 위해 흰색 노이즈 입력을 최적화하고, 특징 맵에 L2 손실을 적용한다.
• 텍스처 합성의 경우, 다양한 레이어에서 생성된 이미지와 실제 텍스처의 그람 행렬(특징 맵 간 상관관계) 간의 차이를 최소화한다.
• 스타일 전이의 경우, 중간 레이어의 활성화를 기반으로 한 콘텐츠 손실과 여러 레이어에서의 그람 행렬을 기반으로 한 스타일 손실을 결합하여 콘텐츠 이미지에 예술적 스타일을 전이한다.
• 레이어별 통계에 기반한 적응적 손실 가중치를 사용하여 수동 튜닝 없이도 시각적 품질을 향상시킨다.
• 모든 최적화는 네트워크 가중치가 아닌 입력 이미지에 대해 경사 하강법을 사용하며, 무작위 초기화를 유지한다.

실험 결과

연구 질문

• RQ1 훈련되지 않은, 무작위로 초기화된 깊은 네트워크가 복원, 텍스처 합성, 스타일 전이에 대해 높은 품질의 이미지를 생성할 수 있는가?
• RQ2 깊은 시각화 성공 요인이 네트워크 아키텍처에 기인하는 정도는 어느 정도인가?
• RQ3 딥 네트워크의 계층적 비선형성만으로도 백프로파게이션 기반 훈련 없이도 시각적으로 현실적인 시각화를 생성할 수 있는가?
• RQ4 표준 깊이 있는 시각화 벤치마크에서 무작위 가중치 네트워크의 성능이 풀 트레이닝된 네트워크와 비교해 어떻게 되는가?
• RQ5 무작위 가중치 네트워크는 훈련 이전에 네트워크 아키텍처를 평가하기 위한 경량이고 빠른 대체 수단으로 사용될 수 있는가?

주요 결과

• 동일한 아키텍처를 가진 잘 훈련된 네트워크에 적용한 것과 비교해, 무작위 가중치 네트워크를 사용한 이미지 복원에서 더 높은 통계적 복원 품질을 달성했다.
• ranVGG를 사용한 텍스처 합성 결과는 원본 텍스처와 풀 트레이닝된 VGG 네트워크가 생성한 결과와 거의 구분되지 않았다.
• ranVGG를 사용한 스타일 전이 결과는 Gatys 등이 제시한 사전 훈련된 VGG 모델의 결과와 시각적으로 경쟁 가능했으며, 반 고흐와 모네르의 다양한 스타일을 포함해 고품질의 예술적 이미지를 생성했다.
• 더 깊은 레이어(예: conv4_1)의 추가가 텍스처 합성 품질을 약간 향상시켜, 훈련 없이도 계층적 표현 학습이 효과적임을 시사했다.
• 모든 미세조정이나 적대적 훈련 없이도, 아키텍처의 깊이와 기울기 기반 최적화에만 기반하여 높은 시각적 품질을 달성했다.
• 결과적으로, 깊은 네트워크의 내재된 비선형성과 계층적 구조만으로도 학습된 가중치와 무관하게 강력한 생성 모델링이 가능함을 시사한다.