[论文解读] A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law

Zhiyu Zoey Chen, Jing Ma+8 more|arXiv (Cornell University)|May 2, 2024

FinTech, Crowdfunding, Digital Finance被引用 16

一句话总结

这项综述分析大型语言模型（LLMs）在金融、医疗保健和法律中的应用，评估它们的性能，讨论挑战与伦理，并在专注于领域特定任务、数据集与多模态考虑的前提下，概述未来方向。

ABSTRACT

In the fast-evolving domain of artificial intelligence, large language models (LLMs) such as GPT-3 and GPT-4 are revolutionizing the landscapes of finance, healthcare, and law: domains characterized by their reliance on professional expertise, challenging data acquisition, high-stakes, and stringent regulatory compliance. This survey offers a detailed exploration of the methodologies, applications, challenges, and forward-looking opportunities of LLMs within these high-stakes sectors. We highlight the instrumental role of LLMs in enhancing diagnostic and treatment methodologies in healthcare, innovating financial analytics, and refining legal interpretation and compliance strategies. Moreover, we critically examine the ethics for LLM applications in these fields, pointing out the existing ethical concerns and the need for transparent, fair, and robust AI systems that respect regulatory norms. By presenting a thorough review of current literature and practical applications, we showcase the transformative impact of LLMs, and outline the imperative for interdisciplinary cooperation, methodological advancements, and ethical vigilance. Through this lens, we aim to spark dialogue and inspire future research dedicated to maximizing the benefits of LLMs while mitigating their risks in these precision-dependent sectors. To facilitate future research on LLMs in these critical societal domains, we also initiate a reading list that tracks the latest advancements under this topic, which will be continually updated: \url{https://github.com/czyssrs/LLM_X_papers}.

研究动机与目标

• 在高风险领域开展LLMs研究的动机：专业知识、敏感数据和监管合规至关重要。
• 对金融、医疗保健和法律NLP任务、数据集和LLMs进行调查，以识别优点、差距和未来研究方向。
• 强调伦理考量、领域特定要求（监管、可解释性、公平性）以及跨学科合作的必要性。

提出的方法

• 编目现有的金融NLP任务和数据集（SA、IE、QA、SMP 等），并记录数据集和基准。
• 总结金融领域的LLMs、预训练与指令调优的方法，以及跨任务的评估结果。
• 调查医疗保健与法律NLP任务、LLMs及评估方法，关注多模态或结构化数据。
• 讨论在这些领域部署LLMs的伦理、领域特定问题和监管考量。
• 提供跨领域的挑战与机遇综合分析，为未来工作提供指导。

Figure 2: Performance comparison on the FinQA dataset (Chen et al., 2021b ) . We compare the execution accuracy following the evaluation standard in the original paper. The fine-tuning method FinQANet is the RoBERTa-based model in (Chen et al., 2021b ) ; The instruction fine-tuning methods include F

实验结果

研究问题

• RQ1 在金融、医疗保健和法律中用于评估LLMs的主要NLP任务和基准是什么？
• RQ2 在标准任务和数据集上，金融、医疗保健和法律LLMs在性能方面有何比较？
• RQ3 哪些关键的方法学方法（预训练 vs 指令调优、以及多模态整合）在这些领域塑造LLMs能力？
• RQ4 在这些行业中，伦理、监管和透明度方面的关注点有哪些，如何缓解？

主要发现

• LLMs在金融、医疗保健和法律中日益用于提升分析、解释和决策支持，但性能因任务与模态而异。
• 在金融领域，专门的LLMs（例如 BloombergGPT、FinMA 变体、InvestLM）在情感分析、问答和信息抽取方面表现出改进，但多模态与数值推理仍具挑战性。
• 医疗保健应用涵盖医学NLP、异常检测、医疗报告生成和影像-语言任务，日益关注指令遵循和临床情境中的评估。
• 法律聚焦的LLMs在合同分析、法条解释和案例法问答等任务中取得进展，强调在高风险法律环境中的可解释性与可靠性。
• 伦理考量——隐私、数据安全、偏见、可解释性和监管合规——在三个领域都至关重要，需要透明、公正、可审计的AI系统。
• 所评估的文献强调从小域微调向更大规模的指令调优和多语言/多模态LLMs的趋势，并呼吁改进评估标准与数据治理。

Figure 4: High-level illustration of concept bottleneck models (Yan et al., 2023c ) . It uses concepts for medical image classification to achieve interpretability and robustness while maintaining accuracy. Left : Classification with a classical neural encoder; Right : Classification with natural la