[論文レビュー] WeaverBird: Empowering Financial Decision-Making with Large Language Model, Knowledge Base, and Search Engine

Siqiao Xue, Fan Zhou+11 more|arXiv (Cornell University)|Aug 10, 2023

Impact of AI and Big Data on Business and Society被引用数 4

ひとこと要約

WeaverBird は、微調整された GPT ベースの LLM、ローカルな金融知識ベース、および検索エンジンを組み合わせたリtrieval-augmented アーキテクチャを備えた、ファイナンス特化型の大規模言語モデルである。複雑な金融クエリに対して正確で出典付きの回答を生成し、ユーザースタディおよび実世界の金融意思決定タスクにおいてベースラインモデルを上回る優れたパフォーマンスを示した。

ABSTRACT

We present WeaverBird, an intelligent dialogue system designed specifically for the finance domain. Our system harnesses a large language model of GPT architecture that has been tuned using extensive corpora of finance-related text. As a result, our system possesses the capability to understand complex financial queries, such as "How should I manage my investments during inflation?", and provide informed responses. Furthermore, our system incorporates a local knowledge base and a search engine to retrieve relevant information. The final responses are conditioned on the search results and include proper citations to the sources, thus enjoying an enhanced credibility. Through a range of finance-related questions, we have demonstrated the superior performance of our system compared to other models. To experience our system firsthand, users can interact with our live demo at https://weaverbird.ttic.edu, as well as watch our 2-min video illustration at https://www.youtube.com/watch?v=yofgeqnlrMc.

研究の動機と目的

• 複雑な金融意思決定クエリに対して正確で追跡可能な回答を提供できる、信頼性の高いドメイン特化型 LLM の不足を解消すること。
• 一般用途 LLM が複雑な金融クエリを処理する際に生じる幻覚や事実誤認を是正すること。
• 現実の事実に基づいた根拠と出典の信頼性を高めるために、ローカルな知識ベースと検索エンジンを統合すること。
• インフレーションや市場のボラティリティ下での投資戦略など、洗練された金融的推論を支援すること。
• 透明性があり出典に配慮した出力を提供する、エンドツーエンドで対話的な金融ユーザー向けのシステムを実現すること。

提案手法

• 金融分野特化の膨大なコーパスで微調整された GPT アーキテクチャの大規模言語モデルを訓練し、ドメイン理解を向上させること。
• 構造化された金融データ、規制、投資原則を含む、キュレートされたローカルな金融知識ベースを構築すること。
• ユーザーのクエリに応じて、知識ベースから最新で関連性の高い文書を取得する検索エンジンを統合すること。
• 得られた検索結果と知識ベースのエントリの両方を条件として LLM の回答生成を制御し、事実に基づいた出力を保証すること。
• 各主張をその出典に紐づける引用メカニズムを実装し、透明性と信頼性を向上させること。
• 動的かつ柔軟に抽出された証拠と LLM の推論を統合する、リtrieval-augmented generation (RAG) パイプラインを採用して、回答の正確性を向上させること。

実験結果

リサーチクエスチョン

• RQ1 リtrieval-augmented LLM アーキテクチャは、標準的な LLM と比較して、金融分野の質疑応答において事実の整合性と正確性を顕著に向上させることができるか？
• RQ2 ドメイン特化の知識ベースと検索エンジンを統合することで、金融 LLM の回答における幻覚がどの程度低減されるか？
• RQ3 経済的不確実性下での投資戦略など、現実的で複雑な金融クエリを処理する際、WeaverBird はどの程度の性能を示すか？
• RQ4 出典に配慮した生成は、金融 AI システムにおけるユーザートラストと透明性を向上させることができるか？
• RQ5 ユーザーレビューおよびベンチマーク評価において、WeaverBird はベースライン LLM や既存の金融 AI ツールと比較してどの程度の性能を示すか？

主な発見

• WeaverBird は、複雑な金融クエリに対して、ベースライン LLM よりも顕著に高い事実の正確性と幻覚の低減を達成した。
• 知識ベースと検索エンジンの統合により、検証可能な出典に基づいた一貫した回答が得られ、信頼性が向上した。
• ユーザースタディの結果、WeaverBird の回答は標準的な LLM よりも信頼性が高く、実行可能であると評価された。
• 取得された文書の関連性と正確性が高く、検索結果が回答の質に直接的かつ明確に影響を与えた。
• 出典に配慮した生成により透明性が向上し、ユーザーはシステムの提言に対してより高い信頼感を抱いた。
• ライブデモと動画の説明から、実際の金融シナリオにおけるシステムの使いやすさとリアルタイム応答性が確認された。