[논문 리뷰] Scholar Name Disambiguation with Search-enhanced LLM Across Language

Renyu Zhao, Yunxin Chen|arXiv (Cornell University)|2024. 11. 26.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 검색 기반 향상 기능을 갖춘 대규모 언어 모델(LLM) 접근법을 제안하여 다국어 학자 이름의 동일인 식별 문제를 해결한다. 검색 엔진을 활용해 다국어 정보를 검색하고 LLM의 추론 능력을 향상시킴으로써, 중국어, 영어, 기관 정보를 통합함으로써 프로필 매칭에서 89%의 리콜을 달성한다. 이는 단일 언어나 단일 소스 전략보다 뛰어나며, 비영어권 학자들에게 특히 유리하다.

ABSTRACT

The task of scholar name disambiguation is crucial in various real-world scenarios, including bibliometric-based candidate evaluation for awards, application material anti-fraud measures, and more. Despite significant advancements, current methods face limitations due to the complexity of heterogeneous data, often necessitating extensive human intervention. This paper proposes a novel approach by leveraging search-enhanced language models across multiple languages to improve name disambiguation. By utilizing the powerful query rewriting, intent recognition, and data indexing capabilities of search engines, our method can gather richer information for distinguishing between entities and extracting profiles, resulting in a more comprehensive data dimension. Given the strong cross-language capabilities of large language models(LLMs), optimizing enhanced retrieval methods with this technology offers substantial potential for high-efficiency information retrieval and utilization. Our experiments demonstrate that incorporating local languages significantly enhances disambiguation performance, particularly for scholars from diverse geographic regions. This multi-lingual, search-enhanced methodology offers a promising direction for more efficient and accurate active scholar name disambiguation.

연구 동기 및 목표

• 기존의 이름 동일인 식별 방법이 인간의 간섭에 크게 의존하고 있으며, 다국어 및 이질적인 데이터 처리에 어려움을 겪는 데서 비롯된 한계를 해결하기 위해.
• 특히 비영어권 언어로 논문을 발표하는 학자들을 포함한 다양한 지리적·언어적 배경을 가진 학자들의 동일인 식별 정확도를 향상시키기 위해.
• 검색 엔진과 다국어 LLM을 활용하여 학자 프로필에 다국어, 실시간, 맥락에 맞는 정보를 풍부하게 제공하기 위해.
• 강화된 검색 및 LLM 추론을 통해 프로필 구축과 매칭을 자동화함으로써 수동 애너테이션에 대한 의존도를 줄이기 위해.
• 지역 언어 데이터(예: 중국어)와 기관 및 연락처 정보를 조합하여 더 높은 동일인 식별 리콜을 달성할 수 있음을 검증하기 위해.

제안 방법

• 이 방법은 GPT4o 및 Llama3.2와 같은 모델의 언어 이해 능력과 외부 검색 엔진의 검색 기능을 융합하여 실시간 데이터 접근을 가능하게 하는 검색 기반 향상 기능을 갖춘 LLM을 활용한다.
• 이름 변형(예: 파inyin), 소속 기관, 연락처 정보, 다국어로 된 연구 키워드를 포함한 다차원적 학자 프로필을 구성한다.
• 웹 소스에서 자동으로 프로필 데이터를 추출하고 정규화하는 파이프라인을 통해 논문, 이력서, 기관 웹 페이지 등의 정보를 처리한다.
• 파inyin, 중국어, 영어 변형 간의 다국어 이름 매칭은 의미적 임베딩과 LLM 기반 정규화를 통해 수행된다.
• 학자 간 비교에는 점수 시스템을 사용한다: 동일한 기관이 일치하면 2점, 반복된 연구/교육 경력 요소가 일치하면 3점, 키워드 유사도는 1~4점이며, 신원 확인을 위해 7점 이상이 필요하다.
• 시스템은 각 학자당 최대 100건의 관련 문서를 검색 쿼리로 검색하고, 이를 LLM이 요약 및 비교하여 신원을 유추한다.

Figure 1: The workflow of our disambiguation method.

실험 결과

연구 질문

• RQ1 지역 언어 데이터(예: 중국어)를 통합할 경우 학자 이름의 동일인 식별에서 리콜과 정확도에 어떤 영향을 미치는가?
• RQ2 표준 LLM이 메타데이터만 사용하는 것과 비교해 검색 기반 향상 기능을 갖춘 LLM이 얼마나 동일인 식별 성능을 향상시킬 수 있는가?
• RQ3 검색을 통한 다국어 프로필 풍부화가 인간의 간섭이 필요한 동일인 식별의 필요성을 줄일 수 있는가?
• RQ4 다양한 데이터 소스(예: 이름, 기관, 연락처 정보)를 어떻게 조합하면 동일인 식별 리콜을 최대화할 수 있는가?
• RQ5 제안된 점수 기반 비교 방법이 유사한 프로필을 가진 학자들을 구분하는 데 얼마나 효과적인가?

주요 결과

• 파인얀, 중국어 기관, 연락처 정보를 조합했을 때 89%의 리콜을 달성하여 다른 전략보다 뚜렷이 뛰어난 성능을 보였다.
• 중국어 기관 정보만을 사용했을 때도 리콜이 영어 전용일 경우 18%에서 중국어 정보를 통합한 63%로 상승하여 지역 언어 데이터의 가치를 입증했다.
• 연락처 정보가 포함된 조합에서 가장 높은 리콜(89%)을 기록하여, 이 정보가 강력한 분류 능력을 지닌다는 것을 시사한다.
• 7점 기준 점수 시스템은 인간 평가에서 100%의 정확도를 달성하여 신뢰성 있는 방법임을 확인했다.
• 검색 기반 향상 기능을 갖춘 LLM 통합으로 수동 동일인 식별에 대한 의존도가 감소하여, 자동화된 다중 소스 기반 프로필 구축이 가능해졌다.
• 이 방법은 종종 영어 중심의 동일인 식별 시스템에서 생략되는 중국어 학자들에게서 뛰어난 성능을 보였다.