[논문 리뷰] Learning FRAME Models Using CNN Filters for Knowledge Visualization

Yang Lu, Song‐Chun Zhu외 1명|arXiv (Cornell University)|2015. 09. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 1

한 줄 요약

이 논문은 사전 학습된 CNN 필터를 활용하여 자연 풍경 패턴을 이진 잠재 변수를 가진 전문가의 곱(product of experts) 모델을 통해 모델링하는 새로운 생성적 프레임워크 FRAME을 제안한다. EM을 통한 학습 과정의 해석을 통해 이 방법은 현실적인 텍스처와 물체를 생성하며, 각 학습된 모델은 더 깊은 레이어의 새로운 CNN 유닛에 해당하여 엔드 투 엔드 생성적 CNN 아키텍처 학습을 가능하게 한다.

ABSTRACT

The convolutional neural network (ConvNet or CNN) has proven to be very successful in many tasks such as those in computer vision. In this conceptual paper, we study the generative perspective of the discriminative CNN. In particular, we propose to learn the generative FRAME (Filters, Random field, And Maximum Entropy) model using the highly expressive filters pre-learned by the CNN at the convolutional layers. We show that the learning algorithm can generate realistic and rich object and texture patterns in natural scenes. We explain that each learned model corresponds to a new CNN unit at a layer above the layer of filters employed by the model. We further show that it is possible to learn a new layer of CNN units using a generative CNN model, which is a product of experts model, and the learning algorithm admits an EM interpretation with binary latent variables.

연구 동기 및 목표

• 분류적 CNN의 생성 잠재력을 탐색하기 위해 학습된 필터를 재활용하여 생성 모델링을 수행한다.
• CNN 필터, 무작위 필드, 최대 엔트로피 원칙을 통합한 FRAME 모델을 개발한다.
• 각 학습된 FRAME 모델이 더 깊은 레이어의 새로운 해석 가능한 CNN 유닛에 해당함을 보여준다.
• 이진 잠재 변수를 가진 생성적 전문가의 곱 모델을 사용하여 새로운 CNN 레이어의 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• FRAME 모델은 사전 학습된 CNN 필터를 사전 확률로 사용하며, 공간적 의존성을 모델링하기 위해 마르코프 무작위장(field)을 통합한다.
• 생성 모델은 전문가의 곱으로 구성되며, 각 전문가가 필터에 대응하고 학습된 특징 패턴과의 일致성을 강제한다.
• 이진 잠재 변수를 도입하여 데이터의 숨겨진 구조를 모델링하고 확률적 추론을 가능하게 한다.
• 학습 알고리즘은 E-단계에서 잠재 변수의 사후분포를 추론하고 M-단계에서 모델 파라미터를 갱신하는 EM 절차로 표현된다.
• 각 FRAME 모델이 더 깊은 CNN 레이어의 새로운 유닛이 되는 계층적 학습이 가능하다.
• 프레임워크는 학습된 필터에서 유래한 현실적인 물체 및 텍스처 패턴을 생성함으로써 지식의 시각화를 지원한다.

실험 결과

연구 질문

• RQ1 사전 학습된 CNN 필터를 효과적으로 자연 풍경의 구조적 생성 모델 구축에 재활용할 수 있는가?
• RQ2 CNN 필터 기반의 전문가의 곱 모델이 어떻게 현실적인 텍스처와 물체 패턴을 생성하는가?
• RQ3 학습된 FRAME 모델과 더 깊은 CNN 레이어의 구조 간의 관계는 무엇인가?
• RQ4 이진 잠재 변수를 가진 EM 알고리즘이 이러한 생성 모델을 효과적으로 학습하는 데 적용될 수 있는가?
• RQ5 생성적 FRAME 모델은 패턴 합성 과정을 통해 지식 시각화를 어떻게 가능하게 하는가?

주요 결과

• FRAME 모델은 사전 학습된 CNN 필터만을 사용하여 자연 풍경에서 현실적이고 다양한 물체 및 텍스처 패턴을 성공적으로 생성한다.
• 각 트레이닝된 FRAME 모델은 더 깊은 레이어의 새로운 해석 가능한 CNN 유닛에 해당하여 계층적 특징 학습이 가능하다.
• 이진 잠재 변수를 가진 EM 기반 학습 알고리즘이 안정적으로 수렴하며 효과적인 추론을 지원한다.
• 전문가의 곱 공식화는 시각적 패턴 내 복잡한 공간적 의존성을 영리하게 모델링할 수 있게 한다.
• 프레임워크는 재학습 없이도 분류적 CNN 특징을 생성적 지식 시각화에 활용할 수 있음을 보여준다.