[논문 리뷰] Designing Heterogeneous LLM Agents for Financial Sentiment Analysis

Frank Xing|arXiv (Cornell University)|2024. 01. 11.

Topic Modeling참고 문헌 44인용 수 4

한 줄 요약

이 논문은 피드백 없는 훈련을 필요로 하지 않는 제로샷, 훈련 없음 프레임워크인 이질적 다중 에이전트 논의(Heterogeneous multi-Agent Discussion, HAD)를 제안한다. 이 프레임워크는 특정 오류 유형—예를 들어 기분,修辞, 참조 등에 초점을 맞춘 전문화된 대규모 언어 모델(LLM) 에이전트를 사용하여 피드백 없는 훈련을 통해 금융 감성 분석(FSA)의 정확도를 향상시킨다. 에이전트 간의 논의가 두드러질수록, 특히 단순 프롬프팅 대비 성능 향상이 두드러지며, 프롬프팅과 훈련된 모델 간의 성능 격차의 25–35%를 메워낸다.

ABSTRACT

Large language models (LLMs) have drastically changed the possible ways to design intelligent systems, shifting the focuses from massive data acquisition and new modeling training to human alignment and strategical elicitation of the full potential of existing pre-trained models. This paradigm shift, however, is not fully realized in financial sentiment analysis (FSA), due to the discriminative nature of this task and a lack of prescriptive knowledge of how to leverage generative models in such a context. This study investigates the effectiveness of the new paradigm, i.e., using LLMs without fine-tuning for FSA. Rooted in Minsky's theory of mind and emotions, a design framework with heterogeneous LLM agents is proposed. The framework instantiates specialized agents using prior domain knowledge of the types of FSA errors and reasons on the aggregated agent discussions. Comprehensive evaluation on FSA datasets show that the framework yields better accuracies, especially when the discussions are substantial. This study contributes to the design foundations and paves new avenues for LLMs-based FSA. Implications on business and management are also discussed.

연구 동기 및 목표

• 피드백 없는 훈련을 통해 생성형 LLM을 금융 감성 분석(FSA)에 활용하기 위한 정의된 설계 지식의 부족을 해결하기 위해.
• 일반적인 LLM 오류 유형에 초점을 맞춘 전문화된 LLM 에이전트를 통해 인간과 유사한 추론 방식을 시뮬레이션하여 FSA 정확도를 향상시키기 위해.
• 이론에 기반한, 훈련이 없는 프레임워크를 개발하여 단순 프롬프팅을 초월하고 훈련된 모델에 가까운 성능을 달성하기 위해.
• 특히 모호성, 전문 용어, 외부 참조를 다룰 때 이질적 에이전트 협업의 효과성을 탐구하기 위해.
• 일반화 가능한 데이터셋 간 적용이 가능하고 실제 금융 의사결정 환경에 적용 가능한 LLM 기반 FSA를 위한 설계 이론을 기여하기 위해.

제안 방법

• 프레임워크는 기분, 어조, 측면, 참조, 의존성 등 각기 다른 오류 유형에 집중하도록 프롬프팅된 다섯 개의 이질적 LLM 에이전트를 사용한다.
• 각 에이전트는 입력 텍스트를 독립적으로 분석하여 자신의 전문화된 역할에 기반한 감성 예측을 생성한다.
• 공통의 논의 메커니즘이 모든 에이전트의 출력을 집계하며, 공감대는 다수결 투표 방식으로 결정된다.
• 설계는 민스키의 정신과 감정 이론에 기반하여, 인지 자원을 전문화된 에이전트로 모델링한다.
• 이 프레임워크는 제로샷이며, 피드백 없는 훈련이 필요 없으며, 오직 프롬프팅 기반 설계와 에이전트 간 협업에 의존한다.
• 평가에서는 다양한 FSA 데이터셋(예: StockSen, CMC, SEntFiN, FPB, FiQA)을 사용하여 HAD를 단순 프롬프팅 및 훈련된 기준 모델과 비교한다.

실험 결과

연구 질문

• RQ1 이질적 다중 에이전트 LLM 프레임워크는 피드백 없는 훈련 없이도 FSA 정확도를 향상시킬 수 있는가?
• RQ2 기존의 LLM 오류 유형에 기반한 에이전트 전문화가 일반적인 프롬프팅보다 더 높은 성능을 낼 수 있는가?
• RQ3 에이전트 논의의 깊이가 최종 감성 예측 정확도에 어떤 영향을 미치는가?
• RQ4 기본적인 역할(예: 기분, 어조, 참조 등) 중 어느 것이 성능 향상에 가장 기여하는가?
• RQ5 이 프레임워크는 제로샷 프롬프팅과 훈련된 모델 간의 성능 격차의 상당 부분을 메워낼 수 있는가?

주요 결과

• HAD는 다양한 데이터셋에서 FSA 정확도를 향상시키며, 특히 에이전트 간 논의가 활발할 경우 단순 프롬프팅을 뛰어넘는 성능을 보인다.
• 이 프레임워크는 제로샷 프롬프팅과 훈련된 모델 간의 성능 격차의 25–35%를 메운다.
• 기분, 어조, 측면 에이전트가 성능 향상에 가장 기여하며, 의존성 에이전트는 성능을 떨어뜨리므로 최적화를 위해 제거할 수 있다.
• 단순 프롬프팅이 미묘한 긍정적 어휘로 인해 중립 문장을 잘못 긍정으로 분류하는 모호한 경우에서도 HAD는 중립 감성을 올바르게 식별한다.
• 사례 연구에서는 HAD가 전문 용어, 외부 참조, 비현실적 기분 표현 등의 과제를 성공적으로 해결하며 단일 LLM이 범한 오류를 수정함을 보여준다.
• 이 설계는 StockSen 및 SEntFiN과 같은 최신 데이터셋을 포함한 다양한 데이터셋에서 효과적이며, 일반화 가능성과 제로샷 전이 능력을 입증한다.