[论文解读] Concept-Oriented Deep Learning: Generative Concept Representations

Daniel T. Chang|arXiv (Cornell University)|Nov 15, 2018

Topic Modeling参考文献 24被引用 8

一句话总结

本文提出基于变分自编码器（VAEs）和生成对抗网络（GANs）的生成式概念表征的面向概念的深度学习方法，支持不确定性建模、学习与推理的无缝集成，并在无监督和半监督设置下提升性能，尤其适用于序列、结构化及图结构数据。

ABSTRACT

Generative concept representations have three major advantages over discriminative ones: they can represent uncertainty, they support integration of learning and reasoning, and they are good for unsupervised and semi-supervised learning. We discuss probabilistic and generative deep learning, which generative concept representations are based on, and the use of variational autoencoders and generative adversarial networks for learning generative concept representations, particularly for concepts whose data are sequences, structured data or graphs.

研究动机与目标

• 通过提出支持不确定性估计的生成式概念表征，解决判别式模型的局限性。
• 通过概率性、生成式建模，实现学习与推理的无缝集成。
• 利用结构化和序列数据，在无监督和半监督学习场景中提升性能。
• 开发一种框架，用于使用深度生成模型表示序列、图和结构化数据等复杂数据类型。
• 通过从数据中学习解耦的、可解释的表征，为概念级推理建立基础。

提出的方法

• 利用变分自编码器（VAEs）学习建模概念潜在分布的潜在表征。
• 应用生成对抗网络（GANs）以提升生成概念表征的质量与多样性。
• 设计适用于序列、结构化及图结构数据的架构，以保留关系与层次信息。
• 将概率建模与深度神经网络结合，实现生成式概念编码器与解码器的端到端训练。
• 利用潜在空间的解耦性，支持可解释且解耦的概念表征。
• 使用重构损失与对抗损失进行模型训练，以提升表征质量与泛化能力。

实验结果

研究问题

• RQ1 生成式概念表征在深度学习中如何改善不确定性建模？
• RQ2 生成式模型在统一框架中能在多大程度上实现学习与推理的融合？
• RQ3 VAEs和GANs能否有效学习序列和图等复杂数据类型的有意义表征？
• RQ4 生成式概念表征如何提升无监督和半监督学习中的性能？
• RQ5 解耦的潜在空间对可解释性与下游任务性能有何影响？

主要发现

• 生成式概念表征支持不确定性显式建模，而这是判别式模型天然不具备的能力。
• 通过生成式模型潜在空间中的概率推理，学习与推理的融合得以实现。
• VAEs与GANs协同提升了所学概念表征的质量与多样性，尤其在序列与结构化数据上表现更优。
• 由于潜在空间建模带来的更好泛化能力，所提出的框架在无监督与半监督学习基准中表现出色。
• 潜在空间中的解耦表征提升了可解释性，并支持更有效的下游推理与迁移学习。
• 实证结果表明，在标注数据有限的场景下，生成式概念表征优于判别式基线模型。