[논문 리뷰] Convolutional dictionary learning based auto-encoders for natural exponential-family distributions

Bahareh Tolooshams, Andrew H. Song외 2명|arXiv (Cornell University)|2019. 07. 06.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 이항분포 및 포아송분포 관측치와 같은 비정규분포 데이터를 위한 신경망 프레임워크인 딥 컨volution형 지수족 오토인코더(DCEA)를 소개한다. 컨volutional 딕셔너리 러닝의 반복 최적화를 제약 조건이 있는, 미분 가능한 신경망으로 전개함으로써 DCEA는 해상도가 높고 해석 가능한 비지도 및 지도 학습을 가능하게 하며, 신경 시냅스 데이터와 포아송 노이즈 제거에 뛰어난 성능을 보이며, 파rameter 수를 크게 줄여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a class of auto-encoder neural networks tailored to data from the natural exponential family (e.g., count data). The architectures are inspired by the problem of learning the filters in a convolutional generative model with sparsity constraints, often referred to as convolutional dictionary learning (CDL). Our work is the first to combine ideas from convolutional generative models and deep learning for data that are naturally modeled with a non-Gaussian distribution (e.g., binomial and Poisson). This perspective provides us with a scalable and flexible framework that can be re-purposed for a wide range of tasks and assumptions on the generative model. Specifically, the iterative optimization procedure for solving CDL, an unsupervised task, is mapped to an unfolded and constrained neural network, with iterative adjustments to the inputs to account for the generative distribution. We also show that the framework can easily be extended for discriminative training, appropriate for a supervised task. We demonstrate 1) that fitting the generative model to learn, in an unsupervised fashion, the latent stimulus that underlies neural spiking data leads to better goodness-of-fit compared to other baselines, 2) competitive performance compared to state-of-the-art algorithms for supervised Poisson image denoising, with significantly fewer parameters, and 3) gradient dynamics of shallow binomial auto-encoder.

연구 동기 및 목표

• 카운트 또는 이진 관측치와 같은 비정규분포 데이터를 위한 확장 가능한, 해석 가능한 딥 러닝 모델의 부족을 해결하기 위해.
• 포아송 및 이항분포를 포함한 자연지수족에서의 데이터를 위한 컨volutional 딕셔너리 러닝(CDL)과 딥 신경망을 통합하기 위해.
• 일관된 생성 프레임워크 내에서 비지도 및 지도 학습을 모두 가능하게 하여 학습된 필터의 해석 가능성을 유지하기 위해.
• 기존 기준 모델들과 비교하여 신경 시냅스 데이터에서 더 나은 적합도와 포아송 이미지 노이즈 제거에서 경쟁력 있는 성능을 입증하기 위해.

제안 방법

• 컨volutional 딕셔너리 러닝의 반복 최적화 과정을 전개된 제약 조건이 있는 신경망 아키텍처로 매핑하여, 각 레이어가 알고리즘의 한 반복에 해당하도록 한다.
• 자연지수족의 로그우도에서 유도된 분포별 손실 함수를 사용하여 학습을 이끌며, 포아송 또는 이항분포와 같은 분포에 적합하다.
• 비지도 학습의 경우, 생성 모델 하에서 관측된 데이터의 음의 로그우도를 최소화하며 잠재 코드의 희소성 제약 조건을 적용한다.
• 지도 학습의 경우, 노이즈가 섞인 이미지와 정제된 이미지 쌍을 사용하여 동일한 생성 손실 함수를 적용함으로써 이미지 노이즈 제거에 적응시킨다.
• 신경 시냅스 데이터의 이력 의존성을 고려하기 위해 생성 모델을 시냅스 이력 항목으로 확장하며, 교대 최소화를 통해 추정한다.
• 얕은 이진 오토인코더의 경사하강법 학습을 이론적으로 분석하여, 특정 조건 하에서 진짜 딕셔너리로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 컨volutional 딕셔너리 러닝 원칙을 활용하여 이항분포 및 포아송분포 관측치와 같은 비정규분포 데이터를 모델링할 수 있는 딥 오토인코더 아키텍처를 설계할 수 있는가?
• RQ2 제안된 DCEA 프레임워크는 기존의 비지도 기준 모델들보다 신경 시냅스 데이터에서 더 나은 적합도를 달성하는가?
• RQ3 DCEA 모델은 최신 기술 수준의 딥 러닝 모델들보다 훨씬 적은 파라미터로 포아송 이미지 노이즈 제거에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 얕은 이진 오토인코더의 경사 하강 동역학은 어떠한가? 그리고 어떤 조건에서 진짜 딕셔너리를 복구할 수 있는가?

주요 결과

• DCEA는 기준 모델들보다 실제 신경 시냅스 데이터에서 뛰어난 적합도를 달성하여 잠재 자극 패턴의 모델링을 향상시켰다.
• 포아송 이미지 노이즈 제거에서 DCEA는 최신 기술 수준의 지도 학습 모델들과 유사한 성능을 보였으며, 파라미터 수를 수 개의 주기만큼 줄였다.
• 자연지수족의 로그우도를 손실 함수에 통합함으로써 DCEA는 컨volutional 딕셔너리 러닝을 비정규분포 데이터로 성공적으로 확장하였다.
• 이론적 분석 결과, 양호한 초기화와 조밀한 딕셔너리 가정 하에서 얕은 이진 오토인코더의 경사하강법은 진짜 딕셔너리를 복구함을 보였다.
• 생성 모델에 시냅스 이력 항목을 통합함으로써 신경 데이터에 대한 적합도가 향상되었으며, 교대 최소화를 통해 확장된 DCEA 모델은 안정적인 최적화를 유지하였다.