[论文解读] Controllable Data Generation by Deep Learning: A Review

Shi-Yu Wang, Yuanqi Du+4 more|arXiv (Cornell University)|Jul 19, 2022

Machine Learning in Materials Science被引用 10

一句话总结

本文综述了利用深度学习进行可控深度数据生成的研究，旨在生成具有特定期望属性的数据，例如目标溶解度的分子结构或特定图像风格。论文提出了技术分类法，评估了相关指标，并指出了关键挑战，包括可解释性、相关属性的联合优化以及数据稀缺性问题。

ABSTRACT

Designing and generating new data under targeted properties has been attracting various critical applications such as molecule design, image editing and speech synthesis. Traditional hand-crafted approaches heavily rely on expertise experience and intensive human efforts, yet still suffer from the insufficiency of scientific knowledge and low throughput to support effective and efficient data generation. Recently, the advancement of deep learning has created the opportunity for expressive methods to learn the underlying representation and properties of data. Such capability provides new ways of determining the mutual relationship between the structural patterns and functional properties of the data and leveraging such relationships to generate structural data, given the desired properties. This article is a systematic review that explains this promising research area, commonly known as controllable deep data generation. First, the article raises the potential challenges and provides preliminaries. Then the article formally defines controllable deep data generation, proposes a taxonomy on various techniques and summarizes the evaluation metrics in this specific domain. After that, the article introduces exciting applications of controllable deep data generation, experimentally analyzes and compares existing works. Finally, this article highlights the promising future directions of controllable deep data generation and identifies five potential challenges.

研究动机与目标

• 系统性地回顾并分类用于生成具有特定可控属性的数据的深度学习方法。
• 识别并分析可控数据生成中的关键挑战，包括可解释性、相关属性的联合优化以及标注数据有限的问题。
• 总结跨不同领域在数据质量和属性可控性方面的评估指标。
• 突出展示在药物设计、图像编辑、语音合成和蛋白质生成等领域的有前景应用。
• 概述该领域的未来研究方向及五大主要开放性挑战。

提出的方法

• 提出可控深度数据生成的正式定义，即从潜在空间到具有指定属性的数据的映射学习。
• 基于生成范式（如条件生成、潜在空间操作和基于强化学习的优化）提出一种新颖的技术分类法。
• 根据潜在表示的使用方式对方法进行分类，包括变自编码器（VAEs）、生成对抗网络（GANs）、自回归模型和扩散模型。
• 回顾优化策略，如潜在空间中的基于梯度的搜索以及通过奖励塑形实现属性控制的强化学习。
• 总结评估指标，包括用于数据质量的Fréchet Inception Distance（FID）和用于可控性的属性准确率。
• 分析跨化学、生物和计算机视觉等领域的基准数据集和特定应用框架。

实验结果

研究问题

• RQ1 如何有效调整深度生成模型，以可控方式生成具有特定期望属性的数据？
• RQ2 现有可控数据生成方法在关键技术类别和方法论上存在哪些主要差异？
• RQ3 当前的评估指标如何衡量生成结果的数据质量与属性可控性？
• RQ4 哪些主要挑战阻碍了可控深度数据生成的实际部署与泛化能力？
• RQ5 如何将领域特定知识和约束整合到深度学习框架中，以提升性能与可靠性？

主要发现

• 变自编码器（VAEs）、生成对抗网络（GANs）和自回归模型等深度生成模型，通过学习连续的潜在表示，能够高效探索复杂的数据空间。
• 通过基于梯度的优化对潜在空间进行操作，可实现有效的属性控制，从而生成具有目标溶解度或毒性特征的分子。
• 尽管在基准任务上表现良好，但许多模型缺乏可解释性，难以识别导致特定属性的功能团。
• 当前方法在处理相关属性方面常表现不佳，因为多目标优化中的冲突约束可能导致次优或不可行解。
• 标注数据稀缺问题——尤其在药物发现等领域——限制了监督训练，因此需要采用半监督或自监督学习等替代方案。
• 生成数据的自动验证仍是瓶颈，特别是在生物学和音乐领域，因需依赖实验验证或人工评估，成本高昂。