[논문 리뷰] Learning FRAME Models Using CNN Filters

Yang Lu, Song‐Chun Zhu외 1명|arXiv (Cornell University)|2015. 09. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 26

한 줄 요약

이 논문은 사전 훈련된 CNN 필터를 사용하여 FRAME 모델을 학습하는 생성적 프레임워크를 제안하며, 물체 및 질감 패턴의 현실적인 합성을 가능하게 한다. 학습 과정을 랭지에빈 역동성과 기대값 최대화(EM)를 통한 최대 엔트로피 일치로 재구성함으로써, CNN 유닛에 대한 공식적인 생성적 해석을 수립한다. 이는 각 학습된 FRAME 모델이 고차원 레이어에서 새로운 CNN 유닛에 해당함을 보여주며, 계층적 특징의 비지도, 레이블 없는 학습을 가능하게 한다.

ABSTRACT

The convolutional neural network (ConvNet or CNN) has proven to be very successful in many tasks such as those in computer vision. In this conceptual paper, we study the generative perspective of the discriminative CNN. In particular, we propose to learn the generative FRAME (Filters, Random field, And Maximum Entropy) model using the highly expressive filters pre-learned by the CNN at the convolutional layers. We show that the learning algorithm can generate realistic and rich object and texture patterns in natural scenes. We explain that each learned model corresponds to a new CNN unit at a layer above the layer of filters employed by the model. We further show that it is possible to learn a new layer of CNN units using a generative CNN model, which is a product of experts model, and the learning algorithm admits an EM interpretation with binary latent variables.

연구 동기 및 목표

• 사전 훈련된 CNN 필터에서 FRAME 모델을 학습함으로써, 분류적 CNN에 대한 공식적인 생성적 시각을 확립하기 위해.
• 생성 모델링을 통해 CNN 내 계층적 특징의 비지도, 레이블 없는 학습을 가능하게 하기 위해.
• 각 학습된 FRAME 모델이 더 깊은 레이어의 새로운 CNN 유닛에 해당함을 보여주어, 생성적 및 분류적 딥 러닝을 연결하기 위해.
• 이진 잠재 변수와 기대값 최대화(EM) 기반 학습을 사용하여 제품-전문가 생성 CNN 모델을 개발하기 위해.
• 줄레즈 앙상블 이론과 최대 엔트로피 원리에 기반한 프레임워크의 타당성을 입증하여, 실제 영상 통계와의 통계적 일관성을 확보하기 위해.

제안 방법

• 최대 엔트로피 원리를 사용하여, 실제 영상의 필터 반응 통계를 일치시키는 생성 모델을 정의하며, 에너지 함수는 CNN 필터 반응에서 유도된다.
• 기울기 하강법을 적용한 랭지에빈 역동성(시뮬레이티드 앤날링과 유사)을 사용하여 모델에서 샘플링을 수행하며, 필터 반응 기울기 기반으로 반복적으로 영상을 정밀화함으로써 영상 생성을 가능하게 한다.
• 학습 알고리즘은 하드 디시전 E단계를 갖는 EM 알고리즘으로 해석되며, 이는 컨volution 유닛이 모델링하는 국소 패턴을 탐지한다.
• 각 전문가가 국소 패턴을 나타내는 제품-전문가 모델을 구성하며, ReLU 활성화는 혼합 모델의 에너지 함수에 대한 자연스러운 근사로 해석된다.
• 프레임워크는 줄레즈 앙상블 시각을 사용하며, 공간적 또는 영상-앙상블 평균화를 통해 영상의 부분 재혼성(물체의 경우) 또는 국소 패턴 재배열(질감의 경우)을 가능하게 하여 통계적 교환 가능성을 확보한다.
• 정적(질감) 및 비정적(물체) FRAME 모델을 모두 통합하며, 후자는 특정 공간 위치에서의 단일 CNN 노드에 해당한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN 필터를 사용하여 자연 풍경 패턴에 대한 표현력 있는 생성 모델을 학습할 수 있는가?
• RQ2 최대 엔트로피 원리를 CNN 기반 필터 반응에 적용하여 현실적인 영상을 생성할 수 있는가?
• RQ3 학습된 FRAME 모델과 더 깊은 네트워크 내 새로운 CNN 유닛 사이의 공식적 대응 관계는 무엇인가?
• RQ4 학습 과정을 이진 잠재 변수를 갖는 EM 알고리즘으로 어떻게 해석할 수 있는가?
• RQ5 줄레즈 앙상블 이론을 사용하여 프레임워크를 타당화할 수 있으며, 관측된 영상 통계와의 통계적 일관성을 보장할 수 있는가?

주요 결과

• CNN 필터를 사용하여 학습된 FRAME 모델은 실제 영상의 필터 반응 통계를 일치시킴으로써 현실적이고 다양한 물체 및 질감 패턴을 생성한다.
• 각 학습된 FRAME 모델은 필터 레이어 위의 새로운 CNN 유닛에 해당하며, 실제로 CNN 뉴런의 생성적 버전을 효과적으로 생성한다.
• 학습 알고리즘은 하드 디시전 E단계를 갖는 EM 해석을 허용하며, 국소 패턴 활성화의 효율적 추론을 가능하게 한다.
• 생성 CNN 모델은 각 전문가가 국소 패턴을 모델링하는 제품-전문가 모델이며, ReLU 활성화는 에너지 함수에 대한 자연스러운 근사로 나타난다.
• 줄레즈 앙상블 타당성 검증은 표본 수나 영역 크기가 클 경우 모델이 통계적으로 교환 가능하고 관측된 영상 통계와 일관된 영상을 생성함을 확인한다.
• 프레임워크는 CNN에 대한 공식적인 생성적 해석을 제공하며, 깊은 네트워크의 비지도, 레이블 없는 사전 훈련을 위한 길을 열어준다.