[논문 리뷰] WeaverBird: Empowering Financial Decision-Making with Large Language Model, Knowledge Base, and Search Engine

Siqiao Xue, Fan Zhou외 11명|arXiv (Cornell University)|2023. 08. 10.

Impact of AI and Big Data on Business and Society인용 수 4

한 줄 요약

WeaverBird는 파생된 지식 기반, 검색 엔진, 및 미세튜닝된 GPT 기반 대규모 언어 모델을 결합한 검색 증강 아키텍처를 갖춘 금융 전용 대규모 언어 모델이다. 복잡한 금융 질의에 대해 정확하고 인용된 근거가 있는 응답을 생성하며, 사용자 연구 및 실제 금융 의사결정 과제에서 기준 모델보다 뛰어난 성능을 보였다.

ABSTRACT

We present WeaverBird, an intelligent dialogue system designed specifically for the finance domain. Our system harnesses a large language model of GPT architecture that has been tuned using extensive corpora of finance-related text. As a result, our system possesses the capability to understand complex financial queries, such as "How should I manage my investments during inflation?", and provide informed responses. Furthermore, our system incorporates a local knowledge base and a search engine to retrieve relevant information. The final responses are conditioned on the search results and include proper citations to the sources, thus enjoying an enhanced credibility. Through a range of finance-related questions, we have demonstrated the superior performance of our system compared to other models. To experience our system firsthand, users can interact with our live demo at https://weaverbird.ttic.edu, as well as watch our 2-min video illustration at https://www.youtube.com/watch?v=yofgeqnlrMc.

연구 동기 및 목표

• 정확하고 추적 가능한 응답을 제공할 수 있는 신뢰할 만한 도메인 전용 LLM이 부족한 점을 보완하여 금융 의사결정에 활용 가능한 모델 개발.
• 일반 목적의 LLM이 복잡한 금융 질의를 처리할 때 발생하는 환각 현상과 사실 오류 문제를 해결.
• 현장 지식 기반과 검색 엔진을 통합하여 금융 응답의 사실 기반과 출처 신뢰도를 향상.
• 인플레이션 또는 시장 변동성 기간 동안의 투자 전략과 같은 복잡한 금융 추론을 지원하는 시스템 개발.
• 투명하고 인용 인식 기반의 출력을 제공하는 엔드 투 엔드 상호작용 대화형 시스템을 금융 사용자에게 제공.

제안 방법

• 금융 전용 대규모 코퍼스에 대해 GPT 아키텍처 기반 대규모 언어 모델을 미세튜닝하여 도메인 이해도 향상.
• 구조화된 금융 데이터, 규정, 투자 원칙을 포함한 정제된 현장 금융 지식 기반을 구축.
• 사용자 질의에 대응하여 지식 기반에서 최신이고 관련 있는 문서를 검색할 수 있도록 검색 엔진 통합.
• 수집된 검색 결과와 지식 기반 항목을 모두 고려하여 LLM의 응답 생성을 조건화하여 사실 기반 확보.
• 각 주장에 대한 출처를 명시하는 인용 메커니즘을 구현하여 투명성과 신뢰도 향상.
• 동적 증거 통합과 LLM 추론을 결합하여 정확도를 향상시키기 위해 검색 증강 생성(RAG) 파이프라인 구현.

실험 결과

연구 질문

• RQ1 검색 증강 LLM 아키텍처가 표준 LLM에 비해 금융 질의 응답에서 사실 일관성과 정확도를 크게 향상시키는가?
• RQ2 도메인 전용 지식 기반과 검색 엔진을 통합할 경우 금융 LLM 응답에서 환각 현상이 얼마나 감소하는가?
• RQ3 경제적 불확실성 기간 동안의 투자 전략과 같은 실제 복잡한 금융 질의를 처리하는 데 WeaverBird는 어떤 성능을 보이는가?
• RQ4 인용 인식 기반 생성이 금융 AI 시스템의 사용자 신뢰도와 투명도를 향상시키는가?
• RQ5 사용자 평가와 벤치마킹에서 WeaverBird는 기준 LLM 및 기존 금융 AI 도구와 비교해 어떤가?

주요 결과

• WeaverBird는 복잡한 금융 질의에 대해 기준 LLM보다 뛰어난 사실 정확도를 보이며 환각 현상이 크게 감소했다.
• 지식 기반과 검색 엔진 통합으로 인해 항상 검증 가능한 근거에 기반한 응답을 제공하여 신뢰도가 향상되었다.
• 사용자 연구 결과, WeaverBird의 응답은 표준 LLM의 응답보다 더 신뢰할 만하고 실행 가능성이 높다고 평가되었다.
• 검색된 문서의 관련성과 정밀도가 높았으며, 검색 결과가 직접적으로 응답 품질에 영향을 주었다.
• 인용 인식 기반 생성은 투명성을 향상시켜 사용자들이 시스템의 권고에 대해 더 큰 자신감을 느꼈다.
• 라이브 데모와 영상 시연을 통해 시스템의 사용성과 실시간 반응성은 실제 금융 시나리오에서 검증되었다.