[论文解读] Generating Continuous Representations of Medical Texts

Graham Spinks, Marie‐Francine Moens|Lirias (KU Leuven)|May 15, 2018

Topic Modeling参考文献 6被引用 3

一句话总结

该论文提出了一种条件对抗正则化自编码器（ARAE），用于从连续表征生成逼真的医学文本描述，优于传统的LSTM模型。该方法在生成高质量、句法准确的报告的同时，学习到解耦的、信息丰富的连续嵌入，实现了125.4的困惑度——显著低于LSTM基线模型（150.0）和无条件ARAE（148.4）。

ABSTRACT

We present an architecture that generates medical texts while learning an informative, continuous representation with discriminative features. During training the input to the system is a dataset of captions for medical X-Rays. The acquired continuous representations are of particular interest for use in many machine learning techniques where the discrete and high-dimensional nature of textual input is an obstacle. We use an Adversarially Regularized Autoencoder to create realistic text in both an unconditional and conditional setting. We show that this technique is applicable to medical texts which often contain syntactic and domain-specific shorthands. A quantitative evaluation shows that we achieve a lower model perplexity than a traditional LSTM generator.

研究动机与目标

• 开发一种深度生成模型，从医学文本中学习连续的、解耦的表征，同时生成逼真的报告。
• 通过将ARAE框架适配到具有特定领域术语和句法不规则性的医学报告中，解决在离散文本数据上训练GAN的挑战。
• 通过引入对抗训练和使用MeSH标签的条件监督，提升标准LSTM在文本生成质量上的表现。
• 证明ARAE学习到的连续表征可用于生成多样化、医学上合理的描述，同时保持语义连贯性。
• 通过困惑度的定量评估和面向用户的演示界面进行定性评估，验证模型性能。

提出的方法

• 该模型采用编码器-解码器架构，并共享潜在空间，其中编码器将输入描述映射为连续向量表征。
• 生成器网络从随机噪声向量生成合成描述，在条件变体中，还从类别标签（如“正常”、“心室肥大”）生成。
• 判别器被训练以区分来自数据集的真实描述和生成的描述，且真实和虚假样本均以标签为条件。
• 训练结合了对抗损失（使用Wasserstein距离以提高稳定性）和自编码重建损失，以正则化潜在空间。
• 条件ARAE通过在生成器和判别器中注入类别标签，扩展了该框架，实现可控的文本生成。
• 模型在印第安纳大学的胸部X光片描述数据集上进行训练，包括词汇过滤和将标签二值化为三个诊断类别。

实验结果

研究问题

• RQ1 对抗正则化自编码器能否生成具有高语言质量的、医学上合理的临床文本连续表征？
• RQ2 将文本生成条件化于诊断标签是否能提升生成描述的连贯性和相关性，相比无条件生成？
• RQ3 ARAE框架在医学描述生成任务中的困惑度上是否优于标准LSTM语言模型？
• RQ4 该模型在临床报告中诊断类别间存在类别不平衡和语义重叠的情况下，表现如何？
• RQ5 所学习到的连续表征在支持需要平滑、可微输入的下游NLP任务方面，其有效性如何？

主要发现

• 条件ARAE实现了125.4的困惑度，显著优于LSTM基线（150.0）和无条件ARAE（148.4）。
• 生成的描述表现出句法正确性和医学术语的一致性，定性示例显示各类诊断对应的临床描述合理可信。
• 该模型成功学习到在标签条件下生成多样化、逼真的报告，即使对于罕见病症如心室肥大亦然，尽管由于数据稀缺性，性能略有下降。
• 采用Wasserstein距离损失的对抗训练设置稳定了训练过程，即使在文本的离散性质下，也能实现有效的分布学习。
• 演示界面证实了模型生成多样化、标签条件化输出的能力，并通过判别器博弈有效区分真实与虚假描述。
• 尽管由于多个损失函数和高模型复杂度导致训练不稳定，模型仍收敛至足够生成临床上合理的文本。