[論文レビュー] Can LLMs be Good Financial Advisors?: An Initial Study in Personal Decision Making for Optimized Outcomes

Kausik Lakkaraju, Sai Krishna Revanth Vuruma+3 more|arXiv (Cornell University)|Jul 8, 2023

FinTech, Crowdfunding, Digital Finance被引用数 5

ひとこと要約

本研究では、英語、アフリカ・アメリカー・バーナクル・イングリッシュ（AAVE）、テルグ語の3言語で提示された13件の個人財務に関する質問（クレジットカード、預金、支払いを含む）に対して、GPT-3.5とBardの金融アドバイザーとしての性能を評価した。流暢な出力にもかかわらず、両モデルには深刻な欠陥が認められた：53.8％の回答が個別化された助言を欠き、15.4％が数学的または認識的誤りを含み、92.3％が視覚的補助資料を省略しており、財務意思決定における信頼性に懸念が生じる。

ABSTRACT

Increasingly powerful Large Language Model (LLM) based chatbots, like ChatGPT and Bard, are becoming available to users that have the potential to revolutionize the quality of decision-making achieved by the public. In this context, we set out to investigate how such systems perform in the personal finance domain, where financial inclusion has been an overarching stated aim of banks for decades. We asked 13 questions representing banking products in personal finance: bank account, credit card, and certificate of deposits and their inter-product interactions, and decisions related to high-value purchases, payment of bank dues, and investment advice, and in different dialects and languages (English, African American Vernacular English, and Telugu). We find that although the outputs of the chatbots are fluent and plausible, there are still critical gaps in providing accurate and reliable financial information using LLM-based chatbots.

研究の動機と目的

• LLMベースのチャットボット（GPT-3.5およびBard）が個人財務意思決定において、個別化された金融助言を提供する信頼性と正確性を評価すること。
• 言語の違い（標準英語、アフリカ・アメリカー・バーナクル・イングリッシュ（AAVE）、テルグ語）が、LLMが生成する金融助言の質と正確性に与える影響を調査すること。
• クレジットリミット、支払い期日、複数製品間の相互作用を含む複雑な財務状況を扱う際、推論、計算、情報解釈における体系的な誤りを同定すること。
• 回答に視覚的補助資料や構造化されたデータ表示が欠落していることによる、ユーザーの財務意思決定理解の障害を評価すること。
• 特に多様な言語的・文化的背景を持つユーザーを想定した状況において、LLMを金融アドバイザーとして導入する際の重要な課題を強調すること。

提案手法

• クレジットカード利用、キャッシュバックオファー、支払い期日、クレジットリミット、定期預金（CD）投資、銀行口座残高をカバーする13件の構造化された財務クエリを設計。
• 標準英語、アフリカ・アメリカー・バーナクル・イングリッシュ（AAVE）、テルグ語の3つの言語方言にわたり、クエリ入力を変化させ、多言語性能を評価。
• GPT-3.5（ChatGPT）とGoogleのBardの2つのLLMが、明確な数値的および条件付き制約を伴う13の異なる財務意思決定シナリオに対して出力する回答を評価。
• 誤りを5つのカテゴリーに分類：個別化された助言の欠如、数学的誤り、認識的誤り、文法的誤り、視覚的補助資料の欠落。
• クエリごとの誤り頻度を定量化し、言語バリアントおよびクエリの複雑さに応じたモデル性能を比較。
• 制約ベースの検証を用いて正しさを確認：例として、合計債務額＋新規購入額＜クレジットリミットであることの確認、支払いオプションが残高および金利条件を満たしているかのチェック。

実験結果

リサーチクエスチョン

• RQ1 GPT-3.5やBardなどのLLMは、クレジットカード、預金、支払いを含む多様な個人財務シナリオにおいて、どれほど正確かつ個別化された金融助言を提供できるか？
• RQ2 言語の違い（標準英語、AAVE、テルグ語）は、LLMが生成する金融助言の正確性と流暢さにどのように影響するか？
• RQ3 金融意思決定の文脈で頻発する体系的誤り（数学的、認識的、文法的など）の種類は何か？
• RQ4 金融比較や助言を提示する際、LLMがテーブルや図表などの視覚的補助資料をどれくらいの頻度で省略するか？
• RQ5 特に多言語および多様なユーザー環境を想定した状況において、LLMを金融アドバイザーとして導入する際の主な課題は何か？

主な発見

• Bardの回答の53.8％およびChatGPTの46.15％が、ユーザー固有のデータをすべて活用しない個別化された助言を欠いており、これはユーザー固有の情報を活用しないという失敗を示している。
• Bardの回答の15.38％およびChatGPTの7.69％が、誤った計算やクレジットリミット・支払い期日の誤解といった数学的または認識的誤りを含んでおり、これは重大な問題を示している。
• ChatGPTのテルグ語回答の15.38％に文法的誤りが見られ、理解が困難な場合があったが、Bardのテルグ語回答には同様の誤りが見られなかった。
• Bardの回答の92.3％およびChatGPTの回答の100％が、財務意思決定の明確化に役立つ可能性のあるテーブルや図表などの視覚的補助資料を欠いており、これは深刻な欠落である。
• 両モデルとも多言語対応に苦慮していた：ChatGPTのテルグ語回答はしばしば不完全で文法的に誤りが多く、Bardのテルグ語回答は一貫性がなく、やや不自然な表現であった。
• 本研究では、LLMの金融分野への導入に向けた5つの主要な課題（C1–C5）を同定した。これらは、時間経過による応答行動の変化、数値推論能力の低さ、視覚化の欠如、言語対応の制限、および評価におけるユーザー多様性の不足を含む。