[논문 리뷰] DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning

Wei Chen, Qiushi Wang외 9명|arXiv (Cornell University)|2023. 10. 23.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 재무 상담, 자연어 처리(NLP) 작업, 계산, 검색 증강 생성을 위한 네 가지 작업 전용 지시 데이터셋을 사용하여 LoRA 적응을 통한 다수 전문가 미세조정 프레임워크(MEFF)를 적용한 중국어 재무 대규모 언어 모델(DISG-FinLLM)을 제안한다. 이 모델은 다양한 벤치마크에서 기본 LLM 및 기존 재무 모델보다 뛰어난 성능을 보이며, 특히 검색 및 계산 플러그인을 보강함으로써 재무 질의 응답, 추론, 지식 검색 분야에서 뛰어난 성능을 나타낸다.

ABSTRACT

We propose Multiple Experts Fine-tuning Framework to build a financial large language model (LLM), DISC-FinLLM. Our methodology improves general LLMs by endowing them with multi-turn question answering abilities, domain text processing capabilities, mathematical computation skills, and retrieval-enhanced generation capabilities. We build a financial instruction-tuning dataset named DISC-FIN-SFT, including instruction samples of four categories (consulting, NLP tasks, computing and retrieval-augmented generation). Evaluations conducted on multiple benchmarks demonstrate that our model performs better than baseline models in various financial scenarios. Further resources can be found at https://github.com/FudanDISC/DISC-FinLLM.

연구 동기 및 목표

• 일반 목적의 LLM이 중국어 환경에서 복잡한 재무 작업을 처리하는 데에 한계를 보이는 문제를 해결하기 위해.
• 기존 재무 NLP 모델에서 레이블이 부여된 재무 데이터 부족 및 도메인 특화 지식의 부족 문제를 해결하기 위해.
• 다양한 재무 사용자 그룹이 여러 작업을 수행할 수 있도록 지원하는 통합형 오픈소스 재무 LLM을 개발하기 위해.
• 실제 재무 응용 분야에서의 실시간 대화, 수치 추론, 검색 증강 생성 기능을 향상시키기 위해 LLM에 통합하기 위해.
• 작업 전용 LoRA 미세조정 및 검색 증강 생성의 효과성을 재무 추론 및 의사결정 지원 분야에서 평가하기 위해.

제안 방법

• 저자는 재무 상담, NLP 작업, 재무 계산, 검색 증강 생성의 네 가지 카테고리로 구성된 지도 지시 데이터셋인 DISC-FIN-SFT를 구축한다.
• 네 가지 데이터 세트에 대해 각각 별도의 LoRA 어댑터를 훈련시켜 전문화된 작업 수행을 가능하게 하는 다수 전문가 미세조정 프레임워크(MEFF)를 적용한다.
• 각 LoRA 어댑터는 Baichuan-13B-Chat 기반 모델에 대해 훈련되어 대화, NLP, 계산, 검색 중 하나의 재무 능력 전용으로 특화된다.
• 시스템 프롬프트를 사용하여 추론 중 모델의 행동을 이끌어내어 다양한 재무 시나리오에서 성능을 향상시킨다.
• 정확한 재무 공식 구성 및 수치 추론 작업 성능 향상을 위해 계산 플러그인을 통합한다.
• 정확도, 유용성, 언어적 품질, 반영성 등의 지표를 사용하여 여러 벤치마크와 GPT-3.5 기반 인간 평가를 통해 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다수 전문가 미세조정 프레임워크는 일반 중국어 LLM의 다양한 재무 NLP 작업에서의 성능 향상에 기여하는가?
• RQ2 작업 전용 LoRA 미세조정은 재무 상담, 계산, 검색 분야에서 기본 LLM의 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 검색 증강 생성은 재무 질의 응답에서 사실 정확도와 분석 깊이를 얼마나 향상시키는가?
• RQ4 계산 플러그인 통합은 재무 수치 추론 작업에서 모델의 성능에 어떤 영향을 미치는가?
• RQ5 MEFF 프레임워크는 단일 통합 데이터셋에 대한 전체 파rameter 미세조정보다 더 우수한 일반화 및 적응 능력을 제공하는가?

주요 결과

• LoRA 미세조정 후 DISC-FinLLM는 여섯 가지 미사용 재무 NLP 작업에서 기반 Baichuan-13B-Chat 모델보다 평균 2~9점의 성능 향상을 달성한다.
• 기존 재무 LLM인 FinGPT-v3를 초월하며, 인간 평가에서 비권위적 모델 중 평균 점수 최고를 기록했으며, GPT-4와 ChatGPT에 이어 두 번째로 높은 성능을 보였다.
• 계산 작업에서 계산 플러그인을 통합한 모델은 정확도에서 ChatGPT를 0.09점 초월하여 플러그인 통합의 효과를 입증했다.
• 검색 기반 작업에서는 모든 네 가지 GPT-3.5 평가 지표(정확도, 유용성, 언어적 품질, 반영성)에서 베이스라인 모델보다 유의미하게 높은 점수를 기록했다.
• 절단 실험 결과, 전체 파rameter 미세조정은 작업 전용 LoRA 미세조정에 비해 성능이 열 劣하므로 MEFF 접근법의 필요성을 입증했다.
• 모델는 강력한 일반화 능력을 보이며, 훈련 데이터에 포함되지 않은 NLP 작업에서도 높은 성능을 달성하여 우수한 전이 학습 능력을 보였다.