[논문 리뷰] GPT-FinRE: In-context Learning for Financial Relation Extraction using Large Language Models

Pawan Kumar Rajpoot, Ankur P. Parikh|arXiv (Cornell University)|2023. 06. 30.

Advanced Text Analysis TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 GPT-3.5 Turbo와 GPT-4를 사용한 few-shot in-context learning 프레임워크인 GPT-FinRE를 제안한다. 이는 REFinD 데이터셋에서 금융 관계 추출을 위해 개발되었으며, 두 가지 검색 전략—OpenAI 임베딩을 사용한 KNN과 학습 기반 EPR 검색기—를 활용해 관련된 예시를 선별하여, F1 점수 0.718을 기록했으며, 공동 과제에서 3위를 차지했다.

ABSTRACT

Relation extraction (RE) is a crucial task in natural language processing (NLP) that aims to identify and classify relationships between entities mentioned in text. In the financial domain, relation extraction plays a vital role in extracting valuable information from financial documents, such as news articles, earnings reports, and company filings. This paper describes our solution to relation extraction on one such dataset REFinD. The dataset was released along with shared task as a part of the Fourth Workshop on Knowledge Discovery from Unstructured Data in Financial Services, co-located with SIGIR 2023. In this paper, we employed OpenAI models under the framework of in-context learning (ICL). We utilized two retrieval strategies to find top K relevant in-context learning demonstrations / examples from training data for a given test example. The first retrieval mechanism, we employed, is a learning-free dense retriever and the other system is a learning-based retriever. We were able to achieve 3rd rank overall. Our best F1-score is 0.718.

연구 동기 및 목표

• 저자원 금융 관계 추출 문제를 대비해 대규모 언어 모델을 활용한 few-shot in-context learning을 적용함으로써 도전 과제를 해결하고자 한다.
• 고품질의 in-context 예시를 선별하여 REFinD 데이터셋에서의 관계 추출 성능을 향상시키고자 한다.
• few-shot LLM 프롬프팅에 대해 학습 불필요 및 학습 기반 검색 전략의 효과를 평가하고자 한다.
• in-context learning 환경에서 GPT-3.5 Turbo와 GPT-4의 성능 차이를 비교하고자 한다.
• 프롬프트 엔지니어링과 검색 기반 few-shot 학습을 통한 강화를 통해 REFinD 벤치마크에서 최신 기술 성능을 달성하고자 한다.

제안 방법

• LLM이 작업 설명, 사전 정의된 관계 클래스 및 K-shot 예시를 포함한 프롬프트를 기반으로 예측을 생성하도록, 관계 추출 작업을 in-context learning으로 재구성한다.
• 각 테스트 입력에 대해 임베딩 공간에서 가장 유사한 훈련 예시를 검색하기 위해 OpenAI text-embedding-ada-002를 사용한 KNN 기반 검색기를 적용한다.
• GPT-Neo-2.7B를 기반으로 학습된 EPR(Efficient Prompt Retrieval) 방법을 사용하여 가능성 점수를 기반으로 최적의 in-context 예시를 학습 기반으로 검색한다.
• 각 관계 클래스별로 검색된 예시와 무작위로 샘플된 예시를 조합하여 프롬프트의 다양성을 높이고 환각 현상을 줄인다.
• 구조화된 구성 요소를 포함한 프롬프트를 구성한다: 작업 정의, 관계 클래스, K개의 검색된 예시, 그리고 테스트 입력을 생성에 활용한다.
• 추론 중에 밀도 임베딩 공간에서의 유사도 검색을 효율적으로 수행하기 위해 FAISS를 활용한다.

실험 결과

연구 질문

• RQ1 GPT 모델을 사용한 in-context learning은 REFinD 데이터셋에서 금융 관계 추출에 얼마나 효과적인가?
• RQ2 학습 기반 검색기(EPR)는 학습 불필요 검색기(KNN + OpenAI 임베딩)보다 few-shot 관계 추출에서 우수한 성능을 내는가?
• RQ3 LLM 선택(GPT-3.5 Turbo 대비 GPT-4)이 금융 NLP 작업의 in-context learning 성능에 어떤 영향을 미치는가?
• RQ4 각 관계 클래스별로 검색된 예시와 무작위 예시를 조합함으로써 모델의 일반화 능력과 F1 점수에 어떤 영향을 미치는가?
• RQ5 fine-tuning 없이도 검색 기반 강화된 in-context learning이 저자원 금융 관계 추출에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• GPT-4는 GPT-3.5 Turbo보다 in-context learning에서 더 높은 F1 점수를 기록하여 0.697을 달성한 반면, GPT-3.5 Turbo는 0.643을 기록했다.
• 학습 기반 EPR 검색기는 학습 불필요 KNN(OpenAI 임베딩 사용)보다 유의미하게 뛰어난 성능을 보였으며, GPT-4와 조합했을 때 F1 점수 0.718을 기록했다.
• 최고의 성능을 낸 설정은 EPR를 통해 5개의 예시를 검색하고, 각 관계 클래스별로 4개의 무작위 예시를 추가한 것으로, F1 점수 0.718을 기록했다.
• EPR와 GPT-4의 조합이 가장 높은 성능을 기록했으며, 이는 SIGIR 2023 공동 과제에서 전체 3위를 차지했다.
• 각 관계 클래스별로 무작위 예시를 추가함으로써 순수히 검색된 예시만 사용하는 것보다 성능 향상이 있었으며, 이는 프롬프트 다양성과 강건성의 이점이 있음을 시사한다.
• 결과적으로 검색 품질이 in-context learning에서 핵심 요소임을 입증하였으며, 보다 우수한 예시는 환각 현상을 감소시키고 일반화 능력을 향상시킨다.