[논문 리뷰] Can LLMs be Good Financial Advisors?: An Initial Study in Personal Decision Making for Optimized Outcomes

Kausik Lakkaraju, Sai Krishna Revanth Vuruma외 3명|arXiv (Cornell University)|2023. 07. 08.

FinTech, Crowdfunding, Digital Finance인용 수 5

한 줄 요약

이 연구는 영어, 아프리카계 미국인 영어(AAVE), 텔루구어로 작성된 13개의 개인 금융 질의(신용카드, 예금, 납부금 등)를 대상으로 GPT-3.5와 Bard가 재정 상담사로 기능하는지 평가한다. 유창한 출력에도 불구하고 양 모델은 심각한 결함을 보였다: 53.8%의 응답에서 개인 맞춤형 조언이 부족했고, 15.4%는 수학적 또는 인지적 오류를 포함했으며, 92.3%는 시각적 도구를 생략하여 재정 의사결정의 신뢰성에 우려를 제기한다.

ABSTRACT

Increasingly powerful Large Language Model (LLM) based chatbots, like ChatGPT and Bard, are becoming available to users that have the potential to revolutionize the quality of decision-making achieved by the public. In this context, we set out to investigate how such systems perform in the personal finance domain, where financial inclusion has been an overarching stated aim of banks for decades. We asked 13 questions representing banking products in personal finance: bank account, credit card, and certificate of deposits and their inter-product interactions, and decisions related to high-value purchases, payment of bank dues, and investment advice, and in different dialects and languages (English, African American Vernacular English, and Telugu). We find that although the outputs of the chatbots are fluent and plausible, there are still critical gaps in providing accurate and reliable financial information using LLM-based chatbots.

연구 동기 및 목표

• LLM 기반 챗봇(GPT-3.5 및 Bard)이 개인 금융 결정을 위한 개인 맞춤형 재정 조언을 제공하는 데 있어 신뢰성과 정확도를 평가하는 것.
• 언어 변형(표준 영어, 아프리카계 미국인 영어(AAVE), 텔루구어)가 LLM이 생성한 재정 조언의 품질과 정확도에 미치는 영향을 조사하는 것.
• 신용 한도, 납부 마감일, 상품 간 상호작용을 포함한 복잡한 재정 시나리오를 다룰 때 발생하는 추론, 계산, 정보 해석의 체계적 오류를 규명하는 것.
• 응답에서 시각적 도구나 구조화된 데이터 표현이 부족하여 재정 의사결정 이해도가 저하될 수 있음을 평가하는 것.
• 특히 다양한 언어적 및 인구 통계적 맥락에서 LLM을 재정 상담 역할에 도입할 때의 핵심 과제를 부각하는 것.

제안 방법

• 신용카드 사용, 캐시백 혜택, 납부 마감일, 신용 한도, 정기예금(CD) 투자, 은행 계좌 잔액 등을 다루는 13개의 구조화된 재정 질의를 설계.
• 표준 영어, 아프리카계 미국인 영어(AAVE), 텔루구어 등 세 가지 언어 변형으로 질의 입력을 다양화하여 다국어 성능 평가.
• 정확한 수치적 제약과 조건부 제약이 있는 13개의 별도 재정 의사결정 시나리오에서 GPT-3.5(챗지피티)와 구글의 바드의 응답을 평가.
• 오류를 다섯 범주로 분류: 개인 맞춤형 조언 부족, 수학 오류, 인지 오류, 문법 오류, 시각적 도구 부족.
• 질의 간 오류 빈도를 정량화하고 언어 변형 및 질의 복잡도에 따라 모델 성능을 비교.
• 제약 기반 검증을 활용해 정확성 확인: 예를 들어 총 부채 + 신규 구매 금액 < 신용 한도 여부 확인, 납부 옵션이 잔액 및 이자 조건을 충족하는지 검토.

실험 결과

연구 질문

• RQ1 GPT-3.5 및 바드와 같은 LLM이 신용카드, 예금, 납부금 등 다양한 개인 금융 시나리오에서 정확하고 개인 맞춤형 재정 조언을 얼마나 잘 제공하는가?
• RQ2 언어 변형(표준 영어, AAVE, 텔루구어)이 LLM이 생성한 재정 조언의 정확도와 유창도에 어떤 영향을 미치는가?
• RQ3 재정 의사결정에 있어 자주 발생하는 체계적 오류 유형(수학적, 인지적, 문법적 등)은 무엇인가?
• RQ4 재정 비교나 조언을 제시할 때 LLM이 테이블이나 차트와 같은 시각적 도구를 얼마나 자주 생략하는가?
• RQ5 특히 다국어 및 다양한 사용자 맥락에서 LLM을 재정 상담 역할에 도입할 때의 주요 과제는 무엇인가?

주요 결과

• 바드의 53.8% 응답과 챗지피티의 46.15% 응답에서 개인 맞춤형 조언이 부족하여 제공된 사용자 전용 데이터를 모두 활용하지 못함.
• 바드의 15.38% 응답과 챗지피티의 7.69% 응답에서 수학적 또는 인지 오류가 발생했으며, 이는 잘못된 계산이나 신용 한도 및 납부 마감일의 오해를 포함.
• 챗지피티의 텔루구어 응답 중 15.38%에서 문법 오류가 발생하여 이해하기 어려웠고, 바드는 텔루구어 응답에서 이러한 오류가 없었음.
• 바드의 92.3% 응답과 챗지피티의 100% 응답에서 시각적 도구(예: 테이블, 차트)가 생략되었으며, 이는 재정 의사결정의 명확성 향상 잠재력이 있음에도 불구하고.
• 양 모델 모두 다국어 지원에서 어려움을 겪음: 챗지피티의 텔루구어 응답은 자주 불완전하고 문법적으로 잘못되었고, 바드의 텔루구어 응답은 일관성이 없고 덜 자연스러움.
• 이 연구는 LLM 재정 상담 도입을 위한 다섯 가지 핵심 과제(C1–C5)를 규명하였으며, 이는 시간에 따라 응답 행동 변화, 낮은 숫자 추론 능력, 시각화 부족, 제한된 언어 지원, 평가 시 사용자 다양성 부족을 포함.