[논문 리뷰] Beyond Classification: Financial Reasoning in State-of-the-Art Language Models

Guijin Son, Hanearl Jung외 3명|arXiv (Cornell University)|2023. 04. 30.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 논문은 최신 언어 모델의 금융 추론 능력을 조사하며, 지침 훈련 여부에 따라 2.8B에서 13B 파라미터를 가진 GPT 변종 모델을 기준으로 평가한다. 새로운 작업인 금융 투자 의견 생성(FIOG)을 도입하여, 6B 파라미터에서 일관된 금융 추론이 나타나며, 지침 훈련과 더 큰 데이터셋을 통해 향상됨을 발견하였다. 또한 11,802개의 합성 투자 논지 샘플로 구성된 공개 가능한 sFIOG 데이터셋을 기여하였다.

ABSTRACT

Large Language Models (LLMs), consisting of 100 billion or more parameters, have demonstrated remarkable ability in complex multi-step reasoning tasks. However, the application of such generic advancements has been limited to a few fields, such as clinical or legal, with the field of financial reasoning remaining largely unexplored. To the best of our knowledge, the ability of LLMs to solve financial reasoning problems has never been dealt with, and whether it can be performed at any scale remains unknown. To address this knowledge gap, this research presents a comprehensive investigation into the potential application of LLMs in the financial domain. The investigation includes a detailed exploration of a range of subjects, including task formulation, synthetic data generation, prompting methods, and evaluation capability. Furthermore, the study benchmarks various GPT variants with parameter scales ranging from 2.8B to 13B, with and without instruction tuning, on diverse dataset sizes. By analyzing the results, we reveal that the ability to generate coherent financial reasoning first emerges at 6B parameters, and continues to improve with better instruction-tuning or larger datasets. Additionally, the study provides a publicly accessible dataset named sFIOG (Synthetic-Financial Investment Opinion Generation), consisting of 11,802 synthetic investment thesis samples, to support further research in the field of financial reasoning. Overall, this research seeks to contribute to the understanding of the efficacy of language models in the field of finance, with a particular emphasis on their ability to engage in sophisticated reasoning and analysis within the context of investment decision-making.

연구 동기 및 목표

• 복잡한 금융 추론 능력을 분류 작업을 넘어서 수행할 수 있는 대규모 언어 모델의 능력을 조사하기 위해.
• 다단계 논리적 및 수치적 추론이 필요한 새로운 금융 추론 작업인 금융 투자 의견 생성(FIOG)을 개발하고 평가하기 위해.
• 모델 크기, 지침 훈련, 데이터셋 규모가 금융 추론 성능에 미치는 영향을 평가하기 위해.
• 통제된 금융 의견 생성을 위한 새로운 프롬프팅 방법인 인-컨텍스트 질의 응답을 도입하기 위해.
• 향후 금융 언어 모델링 연구를 지원하기 위해 공개 가능한 합성 데이터셋(sFIOG)을 제공하기 위해.

제안 방법

• 금융 데이터와 기업 정보를 바탕으로 일관되고 설득력 있는 투자 논지를 생성할 수 있도록 요구하는 새로운 작업인 금융 투자 의견 생성(FIOG)을 제안하였다.
• 모델이 맥락에 충실하고 체계적인 금융 의견을 생성하도록 유도하기 위해, 인-컨텍스트 질의 응답이라는 새로운 프롬프팅 기법을 개발하였다.
• LLM을 사용하여 다양한 기업과 금융 상황을 포함하는 11,802개의 투자 논지 샘플로 구성된 합성 데이터셋 sFIOG를 생성하였다.
• 다양한 데이터셋 크기에서 FIOG 작업에 대해 2.8B에서 13B 파라미터까지의 여러 GPT 변종 모델(지침 훈련 여부에 관계없이)을 벤치마킹하였다.
• ROUGE-L 및 인간 선호도 연구를 사용하여 모델 성능을 평가하였으며, LLM 기반 평가자(G-Eval)와 인간 평가를 비교하였다.
• 모델 크기, 훈련 스텝 수, 데이터 구성에 대한 분석을 통해 스케일과 훈련의 영향을 고립적으로 분석하였다.

실험 결과

연구 질문

• RQ1 최신 언어 모델에서 일관된 금융 추론 능력이 처음으로 나타나는 모델 크기는 어느 정도인가?
• RQ2 지침 훈련을 받은 모델이 비지침 훈련 모델에 비해 금융 추론 작업에서 성능에 미치는 영향은 어떠한가?
• RQ3 데이터셋 크기와 훈련 스텝 수가 금융 투자 의견 생성 품질에 어떤 영향을 미치는가?
• RQ4 LLM 기반 평가자(G-Eval 등)가 금융 추론 출력 품질 평가 시 인간 평가와 얼마나 일치하는가?
• RQ5 인-컨텍스트 프롬프팅 기법이 생성된 투자 논지의 일관성과 사실 기반 성격을 향상시키는 데 얼마나 효과적인가?

주요 결과

• 일관된 금융 추론 능력은 6B 파라미터에서 처음 나타나며, 13B 파라미터까지 성능이 점진적으로 향상된다.
• 모든 크기에서 지침 훈련된 모델이 비지침 훈련 모델보다 우수한 성능을 보이며, 이는 피지컬 훈련이 추론 품질을 크게 향상시킨다는 것을 시사한다.
• 기존 기업에 대한 새로운 Q&A 쌍을 포함한 유형#2 질문의 성능은 알려지지 않은 기업을 다루는 유형#3 질문보다 열 劣하다. 이는 훈련 중에 유입된 비정적 지식이 일반화 능력에 악영향을 미칠 수 있음을 시사한다.
• 가장 뛰어난 성능을 보인 모델인 지침 훈련된 LLaMA 13B는 소규모 1,502개 샘플 데이터셋에서도 뛰어난 결과를 내었으며, 이는 모델 크기가 데이터셋 크기보다 더 중요할 수 있음을 시사한다.
• 인간 선호도 평가에서 LLaMA 모델이 가장 선호되었고, 그 다음으로 GPT-J가 뒤를 이었다. 이는 자동 평가 지표 결과와 일치함을 확인하였다.
• 연구 결과, LLM 기반 평가자(G-Eval)와 인간 평가자 사이에 금융 텍스트 품질 평가에서 심각한 불일치가 존재함을 확인하였으며, 이는 금융 추론에 대한 자동 평가의 한계를 드러낸다.