[論文レビュー] GPT-FinRE: In-context Learning for Financial Relation Extraction using Large Language Models

Pawan Kumar Rajpoot, Ankur P. Parikh|arXiv (Cornell University)|Jun 30, 2023

Advanced Text Analysis TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、GPT-3.5 Turbo および GPT-4 を用いた GPT-FinRE を提案する。これは、REFinD データセットにおける金融関係抽出のための few-shot な文脈学習フレームワークである。2つのリtrieval戦略—OpenAI の埋め込みを用いた KNN および学習ベースの EPR リトリーバー—を採用し、関連するデモを特定する。F1 スコアは 0.718 を達成し、共同タスクで全体で 3位となった。

ABSTRACT

Relation extraction (RE) is a crucial task in natural language processing (NLP) that aims to identify and classify relationships between entities mentioned in text. In the financial domain, relation extraction plays a vital role in extracting valuable information from financial documents, such as news articles, earnings reports, and company filings. This paper describes our solution to relation extraction on one such dataset REFinD. The dataset was released along with shared task as a part of the Fourth Workshop on Knowledge Discovery from Unstructured Data in Financial Services, co-located with SIGIR 2023. In this paper, we employed OpenAI models under the framework of in-context learning (ICL). We utilized two retrieval strategies to find top K relevant in-context learning demonstrations / examples from training data for a given test example. The first retrieval mechanism, we employed, is a learning-free dense retriever and the other system is a learning-based retriever. We were able to achieve 3rd rank overall. Our best F1-score is 0.718.

研究の動機と目的

• 大規模言語モデルを用いた few-shot な文脈学習により、低リソースな金融関係抽出の課題に対処すること。
• 高品質な文脈内デモを特定することで、REFinD データセットにおける関係抽出のパフォーマンスを向上させること。
• few-shot LLM プロンプトにおける、学習フリーと学習ベースの両方のリtrieval 戦略の有効性を評価すること。
• GPT-3.5 Turbo と GPT-4 の選択が、金融 NLP タスクにおける文脈学習のパフォーマンスに与える影響を比較すること。
• プロンプト工学とリトリーブ拡張型 few-shot 学習を用いて、REFinD ベンチマークで最先端の結果を達成すること。

提案手法

• 関係抽出タスクを、タスクの説明、事前に定義された関係クラス、および K-shot のデモを含むプロンプトに基づいて予測を生成する文脈学習として定式化する。
• 各テスト入力に対して、OpenAI の text-embedding-ada-002 を用いた KNN ベースのリトリーバーを用い、埋め込み空間内で類似する訓練例を検索する。
• GPT-Neo-2.7B を用いて学習した EPR（効率的プロンプトリトリーブ）手法を用い、尤度スコアに基づいて最適な文脈内例を学習的に検索する。
• 各関係クラスごとに、検索された例とランダムに抽出された例を組み合わせることで、プロンプトの多様性を高め、幻覚を低減する。
• 構造化されたコンponents（タスク定義、関係クラス、K 個の検索デモ、テスト入力）を含むプロンプトを構築し、生成に使用する。
• 推論時に、密度埋め込み空間内での類似度検索を効率的に行うために FAISS を使用する。

実験結果

リサーチクエスチョン

• RQ1 GPT モデルを用いた文脈学習は、REFinD データセットにおける金融関係抽出に対してどれほど有効か？
• RQ2 学習ベースのリトリーバー（EPR）は、学習フリーのリトリーバー（OpenAI 埋め込みを用いた KNN）を上回るか？
• RQ3 LLM の選択（GPT-3.5 Turbo 対 GPT-4）が、金融 NLP タスクにおける文脈学習のパフォーマンスに与える影響は？
• RQ4 各関係クラスごとに検索例とランダム例を組み合わせることで、モデルの一般化性能と F1 スコアにどのような影響があるか？
• RQ5 微調整なしで、リトリーブ拡張型文脈学習が、低リソースな金融関係抽出で競争力のある結果を達成できるか？

主な発見

• GPT-4 は GPT-3.5 Turbo よりも、金融関係抽出における文脈学習で優れた性能を示し、F1 スコア 0.697 を達成した（GPT-3.5 Turbo は 0.643）。
• 学習ベースの EPR リトリーバーは、学習フリーの KNN（OpenAI 埋め込みを用いる）を著しく上回り、GPT-4 と組み合わせた際の F1 スコアは 0.718 を達成した。
• 最高のパフォーマンスを示した設定は、EPR を用いて 5 つの例を検索し、各関係クラスごとに 4 つのランダム例を追加したもので、F1 スコアは 0.718 を記録した。
• EPR と GPT-4 の組み合わせが最高のパフォーマンスを達成し、SIGIR 2023 共同タスクで全体で 3 位となった。
• 各関係クラスごとにランダム例を追加することで、純粋に検索された例のみを用いる場合よりもパフォーマンスが向上し、プロンプトの多様性と耐性の向上が示された。
• 結果から、文脈学習におけるリトリーブの質が極めて重要であることが示された。優れた例を用いることで、幻覚が低減され、一般化性能が向上する。