[논문 리뷰] A Theory of Generative ConvNet

Jianwen Xie, Yang Lu외 2명|arXiv (Cornell University)|2016. 02. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 160

한 줄 요약

논문은 판별 ConvNet을 가우시안 백색 잡음 참조를 갖는 에너지 기반 모델로서의 생성 ConvNet으로 도출하며, 계층적 자동 인코더에 의해 정의된 평균과 대조 확산 및 Langevin 다이나믹스로 학습되는 부분적으로 가우시안 구조를 드러낸다.

ABSTRACT

We show that a generative random field model, which we call generative ConvNet, can be derived from the commonly used discriminative ConvNet, by assuming a ConvNet for multi-category classification and assuming one of the categories is a base category generated by a reference distribution. If we further assume that the non-linearity in the ConvNet is Rectified Linear Unit (ReLU) and the reference distribution is Gaussian white noise, then we obtain a generative ConvNet model that is unique among energy-based models: The model is piecewise Gaussian, and the means of the Gaussian pieces are defined by an auto-encoder, where the filters in the bottom-up encoding become the basis functions in the top-down decoding, and the binary activation variables detected by the filters in the bottom-up convolution process become the coefficients of the basis functions in the top-down deconvolution process. The Langevin dynamics for sampling the generative ConvNet is driven by the reconstruction error of this auto-encoder. The contrastive divergence learning of the generative ConvNet reconstructs the training images by the auto-encoder. The maximum likelihood learning algorithm can synthesize realistic natural image patterns.

연구 동기 및 목표

• 판별 ConvNet을 생성 모델 및 비지도 학습자로 바꾸려는 동기를 제시한다.
• 생성 ConvNet을 ConvNet 점수 함수로부터 지수 tilting을 이용한 에너지 기반 모델로 유도한다.
• 하향식 필터가 상향식 기준 함수가 되는 내부 자동 인코더 구조를 드러낸다.
• 재구성 오차에 의해 구동되는 Langevin 다이나믹스로 샘플링을 보여준다.
• 관찰된 이미지에서 시작하는 대조 확산을 선택적으로 사용하거나 최대 우도 학습으로 현실적인 자연 이미지 패턴을 합성할 수 있음을 시연한다.

제안 방법

• 가우시안 백색 잡음 참조를 갖는 에너지 기반 모델로서의 판별 ConvNet과 생성 ConvNet를 정의한다.
• ReLU 비선형성일 때 모형이 자동 인코딩 평균을 갖는 부분적으로 가우시안이 됨을 보인다.
• 점수 함수를 표현하고 각 활성화 패턴 δ에 대해 재구성을 얻기 위한 위상(상향) 역합성(deconvolution)을 도출한다.
• 생성 모델에서 재구성 오차에 의해 구동되는 Langevin 다이내믹스를 사용해 샘플링한다.
• Langevin 샘플의 몬테카를로 추정과 필요 시 관찰 이미지에서 시작하는 대조 확산으로 최대 우도 학습을 채택한다.
• 하향식 표현에서 하향식 표현의 기저 함수로 하향 필터가 작용하는 계층적 합성 구현을 제공한다.

실험 결과

연구 질문

• RQ1 판별 ConvNet을 가우시안 참조 분포를 갖는 생성 에너지 기반 모델로 해석할 수 있는가?
• RQ2 판별 ConvNet으로부터 생성 ConvNet를 유도할 때 어떤 내부 표현 구조가 드러나는가?
• RQ3 Langevin 기반 샘플링과 대조 확산이 이 프레임워크에서 자동 인코더 재구성과 어떤 관련이 있는가?
• RQ4 ReLU와 부분적 선형성이 부분적으로 가우시안 생성 모델을 만들어내는 역할은 무엇인가?
• RQ5 모델이 비표지 데이터에서 현실적인 자연 이미지 패턴을 합성할 수 있는가?

주요 결과

• 생성 ConvNet은 부분적으로 가우시안이며, 평균은 자동 인코더에 의해 정의되고 하향식 표현에서 하향식 기저 함수로서 하향 필터가 작용한다.
• Langevin 샘플링은 재구성 오류에 의해 구동되며 합성을 재구성과 연결한다.
• 대조 확산 학습은 자동 인코더를 통해 훈련 이미지를 재구성하고 재구성 오류와 그래디언트를 일치시킨다.
• 내부 구조가 ConvNet 내에서 판별적 모델링과 생성적 모델링을 가우시안 참조 분포 아래에서 통합한다.
• 이미지에 대한 최대 우도 학습을 통해 현실적인 자연 이미지 패턴을 합성할 수 있다.
• 경험적 결과는 질감과 물체 패턴의 생성 및 재구성 능력을 보여준다.