[논문 리뷰] LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

Amy Xin, Yunjia Qi외 6명|arXiv (Cornell University)|2024. 07. 04.

Data Quality and Management인용 수 4

한 줄 요약

LLMaEL은 대규모 언어 모델(Large Language Models, LLMs)을 사용해 언급 기반으로 중심화된 개선된 맥락 기술을 생성하고, 이를 기존의 전통적 엔티티 링킹(EL) 모델에 공급함으로써 엔티티 링킹 성능을 향상시키는 플러그 앤 플레이 프레임워크를 제안한다. 이는 특히 장꼬리 엔티티에 대해 정확도 향상을 이룬다. 이 방법은 6개의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 미세조정된 LLM을 사용할 경우 평균 정확도 향상률이 1.21%에 이른다.

ABSTRACT

Specialized entity linking (EL) models are well-trained at mapping mentions to unique knowledge base (KB) entities according to a given context. However, specialized EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, extensively pre-trained large language models (LLMs) possess broader knowledge of uncommon entities. Yet, with a lack of specialized EL training, LLMs frequently fail to generate accurate KB entity names, limiting their standalone effectiveness in EL. With the observation that LLMs are more adept at context generation instead of EL execution, we introduce LLM-Augmented Entity Linking (LLMAEL), the first framework to enhance specialized EL models with LLM data augmentation. LLMAEL leverages off-the-shelf, tuning-free LLMs as context augmenters, generating entity descriptions to serve as additional input for specialized EL models. Experiments show that LLMAEL sets new state-of-the-art results across 6 widely adopted EL benchmarks: compared to prior methods that integrate tuning-free LLMs into EL, LLMAEL achieves an absolute 8.9% gain in EL accuracy. We release our code and datasets.

연구 동기 및 목표

• 기존 EL 모델이 훈련 데이터와 지식이 제한되어 있어 장꼬리 엔티티에서 성능이 떨어지는 문제를 해결하기 위해.
• 엔티티 링킹 시 직접 엔티티 ID를 생성할 때 LLM의 환각 문제를 해결하기 위해.
• LLM을 활용해 맥락 보강을 수행하면서도 전문화된 EL 모델의 정밀도를 유지하는 비용 효율적이고 플러그 앤 플레이 방식의 방법을 개발하기 위해.
• LLM이 직접 EL 실행자 또는 재순서 정렬기로 사용되는 것보다 더 효과적으로 맥락 보강기로 사용될 수 있는지 탐색하기 위해.
• 미래의 LLM 기반 엔티티 링킹 연구를 지원하기 위해 코드, 데이터셋, 미세조정된 모델을 공개하기 위해.

제안 방법

• LLMaEL은 전통적 EL 모델의 입력을 풍부하게 하기 위해 LLM을 사용해 언급 중심의 기술을 생성한다.
• 이 방법은 세 단계로 구성된 파ip라인을 활용한다: (1) LLM 기반 맥락 보강, (2) 보강된 맥락과 원본 입력의 데이터 융합, (3) 표준 EL 모델을 통한 엔티티 링킹.
• LLM은 언급에 중심을 두고 세계 지식과 맥락 정보를 바탕으로 간결하고 사실적인 기술을 생성하도록 프롬프트된다.
• EL 모델은 보강된 맥락을 처리하여 올바른 엔티티 ID를 예측하며, ID 예측을 전담된 모델에 위임함으로써 환각 위험을 최소화한다.
• 선택적 향상 기법으로는 맥락 결합 및 앙상블 전략이 포함되어 성능 향상을 더욱 높일 수 있다.
• 미세조정은 EL 모델이 아닌 LLM 컴포넌트에만 적용되어 훈련 비용을 절감한다.

실험 결과

연구 질문

• RQ1 LLM이 직접 엔티티 ID를 예측하지 않고도 enriched 맥락을 생성함으로써 엔티티 링킹 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 LLM 기반 맥락 보강이 특히 장꼬리 엔티티에서 정확도 향상에 뚜렷한 기여를 하는가?
• RQ3 LLM을 직접 엔티티 링킹에 사용하거나 재순서 정렬기로 사용하는 것보다 맥락 보강기로 사용하는 것이 더 효과적인가?
• RQ4 LLMaEL의 성능은 다양한 엔티티 링킹 벤치마크에서 강력한 베이스라인과 비교해 어떻게 되는가?
• RQ5 EL 모델을 미세조정하거나 비공개 LLM 가중치에 접근할 필요 없이도 플러그 앤 플레이 방식이 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 기본 LLMaEL은 6개 표준 데이터셋 중 5개에서 베이스라인 EL 모델을 능가하며, 맥락 보강의 효과를 입증한다.
• 미세조정된 LLMaEL은 모든 6개의 벤치마크에서 새로운 최신 기술 수준(SOTA) 성능을 달성하였으며, 평균 정확도 향상률이 1.21%에 이른다.
• 빈도가 10⁻⁷에서 10⁻⁶ 사이인 장꼬리 엔티티의 성능 향상이 뚜렷하게 향상되어 희귀 엔티티에 대한 효과성을 입증한다.
• LLM 기반 재순서 정렬 전략(예: Re-rank-100, Re-rank-10)은 직접 LLM 실행과 LLMaEL 모두에 뒤지며, 재순서 정렬보다 맥락 보강이 더 효과적임을 시사한다.
• 맥락 결합 및 앙상블 기법의 사용은 성능 향상을 더욱 높이며, LLMaEL 프레임워크의 유연성과 확장성을 보여준다.
• LLMaEL은 엔티티 ID 예측을 EL 모델에 위임함으로써 환각을 방지하면서도, LLM은 오직 지식 기반 맥락 생성에만 전념한다.