[논문 리뷰] Generative Deep Deconvolutional Learning

Yunchen Pu, Xin Yuan외 1명|arXiv (Cornell University)|2014. 12. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 효율적인 상향식 생성 모델링과 단일층 역행렬 추론을 가능하게 하기 위해 확률적 풀링을 사용하는 딥 생성 합성곱 사전 학습 모델을 제안한다. 선형 연산을 통해 상위 레이어 사전 요소를 데이터 평면에 직접 투영함으로써, 깊은 아키텍처를 사용함에도 불구하고 테스트 시 계산 비용을 최소화하면서 MNIST 및 Caltech 101에서 최신 기술 수준(SOTA)의 분류 성능을 달성한다.

ABSTRACT

A generative Bayesian model is developed for deep (multi-layer) convolutional dictionary learning. A novel probabilistic pooling operation is integrated into the deep model, yielding efficient bottom-up and top-down probabilistic learning. After learning the deep convolutional dictionary, testing is implemented via deconvolutional inference. To speed up this inference, a new statistical approach is proposed to project the top-layer dictionary elements to the data level. Following this, only one layer of deconvolution is required during testing. Experimental results demonstrate powerful capabilities of the model to learn multi-layer features from images. Excellent classification results are obtained on both the MNIST and Caltech 101 datasets.

연구 동기 및 목표

• 하나의 계층적 깊은 아키텍처를 사용하여 다층 합성곱 사전 학습 모델을 개발하여 효율적인 하향식 및 상향식 확률적 학습을 지원한다.
• 모든 레이어 간의 공동 추론을 가능하게 하고 체계적인 상향식 생성 과정을 지원하는 새로운 확률적 풀링 연산을 통합한다.
• 상위 레이어 사전 요소를 데이터 평면에 투영하여 테스트 시 다층 역행렬 추론이 아닌 단일층 역행렬 추론을 가능하게 함으로써 테스트 시 계산 비용을 감소시킨다.
• 깊은 아키텍처를 학습 단계에서 유지하면서도 추론 시 낮은 복잡도를 유지할 수 있는 모델을 통해 이미지 데이터셋에서 높은 분류 정확도를 달성한다.

제안 방법

• 각 레이어의 특징이 다중분포를 통해 다음 레이어로 매핑되는 계층적 깊은 아키텍처를 사용하여 특징을 강제로 희박화하고 확률적 풀링을 구현한다.
• 확률적 풀링은 풀링 블록당 하나의 특징만 활성화하고 나머지는 모두 0으로 설정하여 상향식 추론을 위한 적절한 생성 모델을 구현한다.
• 하나씩 레이어를 거쳐 하향식 사전학습을 수행하며, 강인한 특징 표현을 위해 게이브스 샘플링을 사용하여 매개변수를 학습한 후, 공동 상향식 개선을 통해 특징 표현을 향상시킨다.
• 상위 레이어 사전 요소를 선형 연산을 통해 데이터 평면에 직접 매핑하는 새로운 통계적 투영 방법을 도입하여, 테스트 시 다층 역행렬 추론이 필요 없도록 한다.
• 추론 시에는 투영된 상위 레이어 특징을 사용하여 단일 역행렬 레이어만 적용함으로써 테스트 시 계산 비용을 크게 감소시킨다.
• 모델은 베이지안 프레임워크 내에서 효율적인 학습을 가능하게 하는 최대 사후확률(MAP) 추정을 위한 게이브스 샘플러를 사용한다.

실험 결과

연구 질문

• RQ1 확률적 풀링을 갖춘 딥 생성 모델은 계층적 합성곱 사전 학습 프레임워크에서 모든 레이어 간 효율적인 공동 학습을 가능하게 할 수 있는가?
• RQ2 깊은 합성곱 신경망에서 높은 테스트 시 계산 비용 없이도 상향식 생성 모델링을 어떻게 효율적이고 확장 가능하게 구현할 수 있는가?
• RQ3 상위 레이어 사전 투영을 통해 단일층 역행렬 추론 단계를 도입했을 때, 다층 역행렬 추론에 비해 성능이 유사하거나 이를 초월할 수 있는가?
• RQ4 딥 합성곱 사전 학습에서 결정론적 풀링과 비교해 볼 때, 확률적 풀링의 통합이 특징 표현과 분류 정확도를 향상시키는가?

주요 결과

• 30장의 훈련 이미지씩 각 클래스에 대해 30개의 이미지를 사용할 때, 제안된 모델은 Caltech 101에서 82.78%의 분류 정확도를 달성하여 ImageNet 사전학습을 사용한 7층 합성곱 신경망의 성능에 근접한다.
• 15장의 훈련 이미지씩 각 클래스에 대해 사용할 경우, 3층 아키텍처를 사용하여 Caltech 101에서 75.24%의 정확도를 달성하여 제한된 데이터로도 강력한 일반화 능력을 보였다.
• 사전학습 단계 대비 개선 단계에서 약 17%의 분류 성능 향상을 기록하여 효과적인 공동 매개변수 최적화가 이루어졌음을 시사한다.
• 상위 레이어 사전를 데이터 평면에 투영함으로써 테스트 시 단일층 역행렬 추론을 적용함으로써, 학습 시 네트워크 깊이에 관계없이 계산 비용을 감소시킬 수 있었다.
• 고차원 레이어에서 학습된 사전는 클래스별 특성을 가지며, 저차원 레이어 사전는 더 일반적인 특징을 가지며 계층적 특징 추상화를 반영한다.
• 얼굴 데이터에 대한 보간 결과는 깊이가 증가할수록 부족한 부분이 점차 회복되며, 두 번째 레이어 사전는 매우 세밀한 재구성을 생성함을 보여준다.