[논문 리뷰] Financial Knowledge Large Language Model

Cehao Yang, Chengjin Xu외 1명|arXiv (Cornell University)|2024. 06. 29.

Stock Market Forecasting Methods인용 수 5

한 줄 요약

이 논문은 금융 지식 평가를 위한 IDEA-FinBench, 검색 기반 및 지시 기반 지식 주입을 통한 LLM의 신속한 금융 도메인 적응을 가능하게 하는 IDEA-FinKER, 그리고 실시간 지식 강화 금융 질의응답을 위한 IDEA-FinQA를 제안한다.

ABSTRACT

Artificial intelligence is making significant strides in the finance industry, revolutionizing how data is processed and interpreted. Among these technologies, large language models (LLMs) have demonstrated substantial potential to transform financial services by automating complex tasks, enhancing customer service, and providing detailed financial analysis. Firstly, we introduce IDEA-FinBench, an evaluation benchmark specifically tailored for assessing financial knowledge in large language models (LLMs). This benchmark utilizes questions from two globally respected and authoritative financial professional exams, aimimg to comprehensively evaluate the capability of LLMs to directly address exam questions pertinent to the finance sector. Secondly, we propose IDEA-FinKER, a Financial Knowledge Enhancement framework designed to facilitate the rapid adaptation of general LLMs to the financial domain, introducing a retrieval-based few-shot learning method for real-time context-level knowledge injection, and a set of high-quality financial knowledge instructions for fine-tuning any general LLM. Finally, we present IDEA-FinQA, a financial question-answering system powered by LLMs. This system is structured around a scheme of real-time knowledge injection and factual enhancement using external knowledge. IDEA-FinQA is comprised of three main modules: the data collector, the data querying module, and LLM-based agents tasked with specific functions.

연구 동기 및 목표

• 16개 분야에 걸쳐 중국어와 영어로 된 CFA 및 CPA 시험 문제를 사용하여 LLM의 금융 지식을 평가한다.
• 실시간 금융 맥락을 LLM에 주입하기 위한 검색 기반의 소수-shot 프레임워크(소프트 인젝션)를 개발한다.
• 일반 LLM을 미세 조정하기 위한 하드 인젝션형 금융 지식 지시문 세트를 제공한다.
• 실시간 지식 주입 및 모듈식 데이터 수집/질의가 포함된 금융 QA 시스템(IDEA-FinQA)을 만든다.
• 모듈식 평가와 다언어 프롬프트 기능을 갖춘 적응 가능한 벤치마크 모음을 제공한다.

제안 방법

• 16개 분야에 걸쳐 중국어/영어로 된 CFA 및 CPA 문제를 가진 IDEA-FinBench를 도입한다.
• 임베딩 기반 검색을 사용하여 LLM에 실시간 맥락을 소프트 인젝션하는 것을 지원한다 (IDEA-FinKER).
• LLM에 지식을 하드 인젝션하는 데 필요한 금융 지식 지시문의 선별된 세트를 제공한다.
• 데이터 수집기, 데이터 질의 모듈, 그리고 네 가지 LLM 기반 에이전트(질의 재작성자, 의도 탐지기, 추출자/정제기, 응답 생성기)를 갖춘 IDEA-FinQA를 설계한다.
• 사실적 근거를 강화하고 환각을 줄이기 위해 외부 지식 소스와 RAG를 활용한다.

실험 결과

연구 질문

• RQ1 다중 분야에 걸쳐 중국어와 영어로 CFA/CPA 재무 시험 문제에 LLM이 직접 대답할 수 있는가?
• RQ2 검색 기반의 소수 예시 지식 주입이 LLM의 재무 추론과 정확성을 향상시키는가?
• RQ3 구조화된 금융 지식 지시문 세트(하드 인젝션)가 도메인 특화 LLM 성능을 향상시키는가?
• RQ4 외부 지식 베이스를 통한 실시간 지식 주입이 금융 QA 성능을 향상시키고 환각을 줄이는가?

주요 결과

• IDEA-FinBench는 CFA/CPA 문제를 기반으로 16개 분야에 걸친 벤치마크를 제공하고 모듈식이며 다언어 평가를 지원한다.
• IDEA-FinKER는 특히 중국어 CPA 스타일 문제에 대해 IDEA-FinBench에서 전문가 수준의 성능을 크게 향상시킨다.
• 소프트 인젝션 기반의 검색적 패러다임은 일반 LLM에 실시간 맥락 지식 강화를 가능하게 한다.
• 금융 지식 지시문 세트를 사용한 하드 인젝션 패러다임은 도메인 특화 미세 조정을 지원한다.
• IDEA-FinQA는 실시간 지식과 외부 데이터를 활용하여 사실성 정확도를 향상시키는 세 모듈 QA 시스템을 보여준다.