[논문 리뷰] Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!

Yubo Ma, Yixin Cao외 2명|arXiv (Cornell University)|2023. 03. 15.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 미세튜닝된 소규모 언어 모델(Small Language Models, SLMs)에 비해 소수 샘플 정보 추출기로는 효과적이지 않지만, SLMs가 놓친 어려운 샘플들을 재순서 정렬(reranking)하는 데에는 뛰어나다는 것을 보여준다. 저자들은 SLMs를 필터로, LLMs를 재순서 정렬기로 사용하는 필터-그런 다음 재순서 정렬 프레임워크를 제안하며, 다양한 소수 샘플 IE 작업에서 일관되게 2.4%의 F1 점수 향상을 달성하면서도 최소한의 지연 시간과 비용 부담을 유발한다.

ABSTRACT

Large Language Models (LLMs) have made remarkable strides in various tasks. Whether LLMs are competitive few-shot solvers for information extraction (IE) tasks, however, remains an open problem. In this work, we aim to provide a thorough answer to this question. Through extensive experiments on nine datasets across four IE tasks, we demonstrate that current advanced LLMs consistently exhibit inferior performance, higher latency, and increased budget requirements compared to fine-tuned SLMs under most settings. Therefore, we conclude that LLMs are not effective few-shot information extractors in general. Nonetheless, we illustrate that with appropriate prompting strategies, LLMs can effectively complement SLMs and tackle challenging samples that SLMs struggle with. And moreover, we propose an adaptive filter-then-rerank paradigm to combine the strengths of LLMs and SLMs. In this paradigm, SLMs serve as filters and LLMs serve as rerankers. By prompting LLMs to rerank a small portion of difficult samples identified by SLMs, our preliminary system consistently achieves promising improvements (2.4% F1-gain on average) on various IE tasks, with an acceptable time and cost investment.

연구 동기 및 목표

• 다양한 IE 작업에 걸쳐, LLMs가 미세튜닝된 SLMs에 비해 소수 샘플 정보 추출기로 효과적인가를 평가하는 것.
• 다양한 소수 샘플 설정과 자원 부족 상황에서 LLMs와 SLMs 간의 성능 격차를 조사하는 것.
• 특히 SLMs의 능력 범위를 초월한 어려운 샘플들에서 LLMs가 SLMs를 능가하는 이유를 특정하는 것.
• LLMs와 SLMs의 강점을 활용하여 소수 샘플 IE 성능을 향상시키는 하이브리드 프레임워크를 설계하는 것.

제안 방법

• 저자들은 네 가지 IE 작업(명명된 엔티티 인식, 관계 추출, 이벤트 탐지, 이벤트 인자 추출)을 포함하는 아홉 개의 데이터셋에서 LLMs를 사용한 zero-shot 인라인 학습과 미세튜닝된 SLMs를 비교한다.
• 다양한 프롬프팅 전략(지시 설계, 예시 수, 선택 전략, 프롬프트 형식)을 사용하여 LLMs의 성능을 평가하고, 정확도와 민감도를 분석한다.
• SLMs의 신뢰도 점수를 기반으로 샘플을 어려움 수준에 따라 분류하여, LLMs가 쉬운 샘플과 어려운 샘플에서의 성능을 분석한다.
• 새로운 필터-그런 다음 재순서 정렬 프레임워크를 제안한다: SLMs가 먼저 레이블을 예측하고 쉬운 샘플을 필터링하며, 어려운 샘플은 타겟팅된 프롬프팅을 사용해 LLMs가 재순서 정렬한다.
• SLMs에서 도출한 상위-N개의 가장 가능성 높은 후보 레이블만 LLMs에 제공하여 추론 비용과 지연 시간을 최소화한다.
• 최종 예측은 쉬운 샘플에 대해서는 SLM의 출력을, 어려운 샘플에 대해서는 LLM이 재순서 정렬한 출력을 조합하여 상호보완적인 강점을 활용한다.

Figure 1: Examples of prompts used. The green, blue and black parts in the top boxes represent the instruction, demonstration (demo) and test sentence in the prompt respectively. The red parts represent the outputs from LLMs. We plot only 1 example for convenience of visualization. The actual demo n

실험 결과

연구 질문

• RQ1 LLMs는 다양한 저자원 IE 작업에서 미세튜닝된 SLMs에 비해 경쟁력 있는 소수 샘플 정보 추출기인가?
• RQ2 SLMs의 신뢰도 점수로 측정된 쉬운 샘플과 어려운 샘플에서 LLMs의 성능는 어떻게 달라지는가?
• RQ3 강력한 추론 능력을 지닌 LLMs가 쉬운 샘플에서는 왜 성능이 열등하고, 높은 거짓 양성률(false-positive rate)을 보이는가?
• RQ4 SLMs가 식별한 가장 어려운 샘플들에 대해서만 LLMs가 재순서 정렬을 수행함으로써 SLM의 성능을 효과적으로 향상시킬 수 있는가?
• RQ5 비용과 지연 시간을 수용 가능한 수준으로 유지하면서 F1 점수를 최대화하는 최적의 하이브리드 프레임워크는 무엇인가?

주요 결과

• LLMs는 아홉 개의 데이터셋과 네 가지 작업 전반에서 소수 샘플 정보 추출에서 지속적으로 미세튜닝된 SLMs에 열등하며, 특히 학습 데이터가 100개를 초과할 경우 더욱 두드러진다.
• LLMs는 일반적인 소수 샘플 IE에 비해 유의미하게 높은 추론 지연 시간과 비용을 유발하여 효율성이 떨어진다.
• LLMs는 SLMs가 잘못 분류한 어려운 샘플에서 강력한 성능을 보이며, 이는 그들의 추론 및 지식 능력 덕분이지만, 쉬운 샘플에서는 어려움을 겪는다.
• LLMs는 쉬운 부정 샘플에서 매우 높은 거짓 양성률을 보이며, 이는 쉬운 예측에서의 전체 성능 저하를 초래한다.
• 제안된 필터-그런 다음 재순서 정렬 프레임워크는 SLMs가 식별한 어려운 샘플들에 대해서만 LLMs를 활용함으로써 작업 전반에서 평균 2.4%의 F1 점수 향상을 달성한다.
• 이 프레임워크는 어려운 샘플의 소수의 부분만 재순서 정렬함으로써 추가 비용과 지연 시간을 최소화하여 소수 샘플 IE에 효과적이고 효율적임을 입증한다.

(a) Named Entity Recognition (NER)