[论文解读] Fine-tuning and Utilization Methods of Domain-specific LLMs

C. Jeong|arXiv (Cornell University)|Jan 1, 2024

Stock Market Forecasting Methods参考文献 10被引用 23

一句话总结

本论文综述了领域特定大模型（LLMs）的微调与利用策略，聚焦金融领域，包括数据、词汇、安全性及实际部署考量。

ABSTRACT

Recent releases of pre-trained Large Language Models (LLMs) have gained considerable traction, yet research on fine-tuning and employing domain-specific LLMs remains scarce. This study investigates approaches for fine-tuning and leveraging domain-specific LLMs, highlighting trends in LLMs, foundational models, and methods for domain-specific pre-training. Focusing on the financial sector, it details dataset selection, preprocessing, model choice, and considerations crucial for LLM fine-tuning in finance. Addressing the unique characteristics of financial data, the study explores the construction of domain-specific vocabularies and considerations for security and regulatory compliance. In the practical application of LLM fine-tuning, the study outlines the procedure and implementation for generating domain-specific LLMs in finance. Various financial cases, including stock price prediction, sentiment analysis of financial news, automated document processing, research, information extraction, and customer service enhancement, are exemplified. The study explores the potential of LLMs in the financial domain, identifies limitations, and proposes directions for improvement, contributing valuable insights for future research. Ultimately, it advances natural language processing technology in business, suggesting proactive LLM utilization in financial services across industries.

研究动机与目标

• 通过指出领域特定LLM微调研究的匮乏来激发本研究.
• 梳理LLMs、基础模型与领域特定预训练的趋势。
• 详细说明面向金融的微调的数据集选择、预处理与模型选择。
• 识别面向金融数据的领域特定词汇构建以及监管/安全等方面的考虑。
• 概述在金融领域生成领域特定LLMs的实际流程，并讨论应用与局限。

提出的方法

• 评审现有的领域特定LLMs微调方法。
• 分析面向金融模型的数据集选择与预处理策略。
• 讨论适用于金融领域领域特定任务的模型选择。
• 解释领域特定词汇构建以及安全/监管方面的考虑。
• 提供在金融领域生成领域特定LLMs的实用流程。

实验结果

研究问题

• RQ1 哪些方法在将LLMs微调至领域特定任务，尤其是在金融领域方面是有效的？
• RQ2 应如何准备和使用金融数据来训练或微调领域特定LLMs？
• RQ3 如何构建面向金融的领域特定词汇并将其整合到LLMs中？
• RQ4 在部署金融聚焦的LLMs 时，哪些安全和监管方面的考虑是必不可少的？
• RQ5 在金融行业中可以遵循哪些实际流程来生成和部署领域特定LLMs？

主要发现

• 本研究指出领域特定LLMs在金融领域的潜在收益，涵盖股票价格预测、情感分析、自动文档处理、信息提取、研究与客户服务等应用。
• 它讨论了局限性并提出领域特定LLMs微调与利用的改进方向。
• 它为实施面向金融的LLMs提供了实用见解，并强调在金融服务中的主动利用。
• 该工作概述了在金融领域生成领域特定LLMs的实用流程。