[논문 리뷰] STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases

Shirley Wu, Shiyu Zhao외 8명|arXiv (Cornell University)|2024. 04. 19.

Natural Language Processing Techniques인용 수 4

한 줄 요약

STaRK는 텍스트 및 관계형 데이터를 통합한 반구조화된 지식 기반(SKB)에서 대규모 언어 모델(LLM) 기반 검색을 평가하기 위한 최초의 종합적 벤치마크를 소개한다. 저자들은 전자상거래, 학술, 생물의학 분야에서 실제적이고 복잡한 질의를 생성하기 위해 합성 파이프라인을 개발하였으며, 현재의 검색 시스템—특히 임bedding에 의존하는 시스템—이 정확도와 추론 능력 측면에서 어려움을 겪고 있음을 드러내며, 성능 향상을 위해 LLM을 활용한 재정렬 기법이 필요함을 시사한다.

ABSTRACT

Answering real-world complex queries, such as complex product search, often requires accurate retrieval from semi-structured knowledge bases that involve blend of unstructured (e.g., textual descriptions of products) and structured (e.g., entity relations of products) information. However, many previous works studied textual and relational retrieval tasks as separate topics. To address the gap, we develop STARK, a large-scale Semi-structure retrieval benchmark on Textual and Relational Knowledge Bases. Our benchmark covers three domains: product search, academic paper search, and queries in precision medicine. We design a novel pipeline to synthesize realistic user queries that integrate diverse relational information and complex textual properties, together with their ground-truth answers (items). We conduct rigorous human evaluation to validate the quality of our synthesized queries. We further enhance the benchmark with high-quality human-generated queries to provide an authentic reference. STARK serves as a comprehensive testbed for evaluating the performance of retrieval systems driven by large language models (LLMs). Our experiments suggest that STARK presents significant challenges to the current retrieval and LLM systems, highlighting the need for more capable semi-structured retrieval systems. The benchmark data and code are available on https://github.com/snap-stanford/STaRK.

연구 동기 및 목표

• 실제 질의에서 텍스트 및 관계형 지식을 모두 처리하는 검색 시스템 평가의 격차를 보완하기 위해.
• 실제 응용을 반영하는 실제적이고 대규모의 반구조화된 지식 기반(SKB) 검색을 위한 벤치마크를 구축하기 위해.
• 비구조화된 텍스트와 구조화된 관계를 동시에 고려한 추론이 필요한 복잡한 질의에서 LLM 기반 검색 시스템의 성능을 평가하기 위해.
• LLM을 통합한 검색 파이프라인에서 정확도, 지연 시간, 추론 능력 간의 상호 상충 관계를 평가하기 위해.
• 향후 다중 모odal 및 하이브리드 검색 시스템 연구를 위한 표준화된 테스트베드를 제공하기 위해.

제안 방법

• 실제 SKB의 텍스트 기술 및 관계 제약 조건을 통합한 자연스럽고 복잡한 사용자 질의를 자동으로 생성하는 새로운 파이프라인을 설계한다.
• 공개 데이터셋에서 세 가지 다양한 SKB를 구축한다: STaRK-Amazon(전자상거래), STaRK-MAG(학술 논문), STaRK-Prime(생물의학 지식).
• 인간 평가를 통해 질의의 품질을 검증하고, 도메인 간 관련성, 현실성, 다양성을 확보한다.
• 밀도 기반 검색, 그래프 신경망(QAGNN), 벡터 유사도 검색(VSS)을 사용한 검색 베이스라인을 구현하고, 정확도 향상을 위해 LLM 재정렬(Claude, GPT-4)을 적용한다.
• 모든 데이터셋에서 검색 효과성을 평가하기 위해 Recall@20, MRR, Hit@1 등의 지표를 적용한다.
• 실제 구현의 상충 관계를 평가하기 위해 단일 A100 GPU에서 시스템 지연 시간을 측정한다.

실험 결과

연구 질문

• RQ1 반구조화된 지식 기반에서 텍스트 및 관계형 지식을 모두 포함하는 복잡한 하이브리드 질의에 대해 현재의 LLM 기반 검색 시스템은 얼마나 잘 성능을 내는가?
• RQ2 임베딩 기반 검색 방법은 질의의 텍스트 및 관계형 구성 요소 간의 상호작용을 얼마나 잘 포착하지 못하는가?
• RQ3 특히 구조화된 관계와 비구조화된 텍스트를 동시에 고려한 추론이 필요한 경우, LLM 재정렬은 검색 정확도를 얼마나 향상시키는가?
• RQ4 검색 파이프라인에 LLM을 통합할 경우, 성능과 지연 시간 간의 상충 관계는 어떠한가?
• RQ5 합성 질의 생성은 하이브리드 검색 시스템 평가를 위한 실제적이고 다양한 고품질의 벤치마크를 생성할 수 있는가?

주요 결과

• 모든 STaRK 데이터셋에서 Recall@20 점수는 60% 이하로 나타나 검색의 포괄성 향상 여지가 크다는 것을 시사한다.
• Hit@1 및 MRR 점수는 특히 STaRK-Prime에서 낮게 유지되어, 현재 모델이 상위 1위에 정답을 올리는 데에도 어려움을 겪고 있음을 보여준다.
• LLM 재정렬을 적용한 VSS 모델(VSS+Claude)이 가장 높은 정확도를 기록하여, 추론 기반 재정렬이 성능 향상에 크게 기여함을 입증한다.
• LLM 재정렬기 사용 시 지연 시간이 크게 증가한다: VSS+Claude는 STaRK에서 평균 26.33초를 기록한 반면, 밀도 기반 검색기(Dense Retriever)는 1.40초에 그친다.
• 사례 연구 결과, 순수 임베딩 모델은 키워드 반복으로 인해 문서를 잘못 순위 매길 수 있으나, LLM 재정렬기는 질의-컨텍스트 간 관계를 추론함으로써 이러한 오류를 수정함을 확인하였다.
• 벤치마크는 현재 검색 시스템이 텍스트 및 관계형 정보를 동시에 고려한 추론이 필요한 질의에 대해 탄력적이지 않음을 드러내며, 검색 파이프라인에 LLM 추론 기능을 더 잘 통합할 필요성이 있음을 강조한다.