[论文解读] Convolutional dictionary learning based auto-encoders for natural exponential-family distributions

Bahareh Tolooshams, Andrew H. Song+2 more|arXiv (Cornell University)|Jul 6, 2019

Generative Adversarial Networks and Image Synthesis被引用 10

一句话总结

本文提出深度卷积指数族自编码器（DCEA），一种新颖的神经网络框架，将卷积字典学习与深度学习统一，用于处理非高斯数据（如伯努利分布和泊松分布的观测值）。通过将卷积字典学习的迭代优化过程展开为受约束的、可微分的神经网络，DCEA 实现了可扩展的无监督与有监督学习，在神经元放电数据和泊松噪声图像去噪任务中表现出更高的可解释性与性能，且参数量显著减少，达到当前最优结果。

ABSTRACT

We introduce a class of auto-encoder neural networks tailored to data from the natural exponential family (e.g., count data). The architectures are inspired by the problem of learning the filters in a convolutional generative model with sparsity constraints, often referred to as convolutional dictionary learning (CDL). Our work is the first to combine ideas from convolutional generative models and deep learning for data that are naturally modeled with a non-Gaussian distribution (e.g., binomial and Poisson). This perspective provides us with a scalable and flexible framework that can be re-purposed for a wide range of tasks and assumptions on the generative model. Specifically, the iterative optimization procedure for solving CDL, an unsupervised task, is mapped to an unfolded and constrained neural network, with iterative adjustments to the inputs to account for the generative distribution. We also show that the framework can easily be extended for discriminative training, appropriate for a supervised task. We demonstrate 1) that fitting the generative model to learn, in an unsupervised fashion, the latent stimulus that underlies neural spiking data leads to better goodness-of-fit compared to other baselines, 2) competitive performance compared to state-of-the-art algorithms for supervised Poisson image denoising, with significantly fewer parameters, and 3) gradient dynamics of shallow binomial auto-encoder.

研究动机与目标

• 解决缺乏适用于计数或二值观测等非高斯数据的可扩展、可解释的深度学习模型的问题。
• 将卷积字典学习（CDL）与深度神经网络统一，用于自然指数族分布的数据，包括泊松分布与伯努利分布。
• 在单一生成式框架中同时支持无监督与有监督训练，同时保持所学习滤波器的可解释性。
• 在神经元放电数据上实现更优的拟合优度，并在泊松图像去噪任务中与现有基线模型相比表现出具有竞争力的性能。

提出的方法

• 将卷积字典学习的迭代优化过程映射为展开的、受约束的神经网络架构，其中每一层对应算法的一轮迭代。
• 采用基于自然指数族（如泊松或伯努利分布）对数似然的可微分、分布特异性损失函数，指导模型训练。
• 在无监督学习中，模型最小化观测数据在生成模型下的负对数似然，同时对潜在编码施加稀疏性约束。
• 在有监督学习中，通过在噪声图像与干净图像对上进行训练，将框架适配于图像去噪任务，使用相同的生成损失函数。
• 通过引入放电历史项，扩展生成模型以捕捉神经元放电数据中的历史依赖性，利用交替优化进行估计。
• 对浅层伯努利自编码器的梯度下降训练进行理论分析，证明在特定条件下可收敛至真实字典。

实验结果

研究问题

• RQ1 能否设计一种深度自编码器架构，利用卷积字典学习的原理，对伯努利分布与泊松分布等非高斯数据进行建模？
• RQ2 所提出的 DCEA 框架在神经元放电数据上的拟合优度是否优于现有无监督基线模型？
• RQ3 DCEA 模型能否在参数量远少于当前最优深度学习模型的前提下，实现出色的泊松图像去噪性能？
• RQ4 浅层伯努利自编码器的梯度动态特性如何？在何种条件下可恢复真实字典？

主要发现

• 与基线模型相比，DCEA 在真实神经元放电数据上实现了更优的拟合优度，显著提升了对潜在刺激模式的建模能力。
• 在泊松图像去噪任务中，DCEA 的性能与当前最优的有监督模型相当，但参数量减少了数个数量级。
• 该框架通过将自然指数族对数似然嵌入损失函数，成功将卷积字典学习扩展至非高斯数据。
• 理论分析表明，在良好初始化与字典稠密的假设下，浅层伯努利自编码器的梯度下降可恢复真实字典。
• 在生成模型中引入放电历史可提升对神经数据的拟合效果，且扩展后的 DCEA 模型通过交替优化保持了稳定的训练过程。