[论文解读] Investigating Large Language Models and Control Mechanisms to Improve Text Readability of Biomedical Abstracts

Zihao Li, Samuel Belkadi+4 more|arXiv (Cornell University)|Sep 22, 2023

Text Readability and SimplificationComputer Science被引用 3

一句话总结

本研究探讨了大型语言模型（LLMs）及控制机制在简化生物医学摘要中的应用，以提升公众健康素养。基于PLABA数据集，采用领域微调和基于提示的学习方法，对BART-Large等模型应用控制标记，SARI得分达到46.54，简化质量优于其他模型，同时保持了良好的语义保留。

ABSTRACT

Biomedical literature often uses complex language and inaccessible professional terminologies. That is why simplification plays an important role in improving public health literacy. Applying Natural Language Processing (NLP) models to automate such tasks allows for quick and direct accessibility for lay readers. In this work, we investigate the ability of state-of-the-art large language models (LLMs) on the task of biomedical abstract simplification, using the publicly available dataset for plain language adaptation of biomedical abstracts ( extbf{PLABA}). The methods applied include domain fine-tuning and prompt-based learning (PBL) on: 1) Encoder-decoder models (T5, SciFive, and BART), 2) Decoder-only GPT models (GPT-3.5 and GPT-4) from OpenAI and BioGPT, and 3) Control-token mechanisms on BART-based models. We used a range of automatic evaluation metrics, including BLEU, ROUGE, SARI, and BERTscore, and also conducted human evaluations. BART-Large with Control Token (BART-L-w-CT) mechanisms reported the highest SARI score of 46.54 and T5-base reported the highest BERTscore 72.62. In human evaluation, BART-L-w-CTs achieved a better simplicity score over T5-Base (2.9 vs. 2.2), while T5-Base achieved a better meaning preservation score over BART-L-w-CTs (3.1 vs. 2.6). We also categorised the system outputs with examples, hoping this will shed some light for future research on this task. Our code, fine-tuned models, and data splits are available at \url{https://github.com/HECTA-UoM/PLABA-MU} \begin{IEEEkeywords} Large Language Models, Text Simplification, Biomedical NLP, Control Mechanisms, Health Informatics \end{IEEEkeywords}

研究动机与目标

• 通过自然语言处理技术简化复杂的生物医学摘要，以提升公众健康素养。
• 利用自动评估与人工评估指标，评估最先进LLMs在生物医学文本简化任务中的有效性。
• 探究控制机制与基于提示的学习对简化质量与语义保留的影响。
• 基于经过微调的模型与代码，利用PLABA数据集为未来研究提供基准。
• 探讨LLM生成的通俗语言摘要中，简化程度与语义保真度之间的权衡。

提出的方法

• 在PLABA数据集上对编码器-解码器模型（T5、SciFive、BART）以及仅解码器模型（GPT-3.5、GPT-4、BioGPT）进行微调。
• 对基于GPT的模型应用基于提示的学习（PBL），通过零样本与少样本提示生成简化输出。
• 在BART模型中引入控制标记机制，以引导简化过程，同时保持语义内容。
• 采用LoRA技术对带有控制标记的BART模型进行高效微调，降低计算成本。
• 使用自动指标（BLEU、ROUGE、SARI、BERTScore）在双参考句测试集上评估输出质量。
• 通过人工评估对814组句子对的简洁性与语义保留性进行评分，以评估模型的定性表现。

实验结果

研究问题

• RQ1 不同LLM架构在PLABA数据集的生物医学摘要简化任务中表现如何？
• RQ2 控制标记机制在BART基模型中在多大程度上提升了简化质量与语义保留性？
• RQ3 自动评估指标与人工判断在生物医学文本简化任务中的一致性如何？
• RQ4 LLM生成的通俗语言摘要中，简化深度与语义保真度之间存在何种权衡？
• RQ5 使用GPT模型进行少样本提示能否实现与微调模型相当的性能？

主要发现

• 采用控制标记的BART-Large（BART-L-w-CT）在SARI得分上达到最高值46.54，表明其在简化生成质量方面表现最优。
• T5-Base在BERTScore上达到最高分72.62，表明其在语义保留方面优于其他模型。
• 人工评估中，BART-L-w-CT在简洁性上得分为2.9（T5-Base为2.2），表明其简化效果更优；而T5-Base在语义保留性上得分为3.1（BART-L-w-CT为2.6），表明其语义保留更佳。
• 自动指标的排名不一致：BART在SARI上表现优异，但在BERTScore上落后，凸显了简化与保真度之间的权衡。
• GPT-3.5与GPT-4通过少样本提示也取得了具有竞争力的性能，表明该任务中具备强大的零样本泛化能力。
• 本研究提供了微调后的模型、代码及数据划分，发布于 https://github.com/HECTA-UoM/PLABA-MU，以支持可复现性与未来基准测试。