[논문 리뷰] Improving Retrieval-Augmented Large Language Models via Data Importance Learning

Xiaozhong Lyu, Stefan Grafberger외 5명|arXiv (Cornell University)|2023. 07. 06.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 추가 학습 없이 검색 증강 대규모 언어 모델(RAG)의 성능을 향상시키기 위해 다중선형 확장(multilinear extensions)을 사용한 데이터 중요도 학습 프레임워크를 제안한다. 이는 검색 코퍼스 항목의 재가중 또는 제거를 통해 성능을 향상시킨다. 정확한 다항식 시간 알고리즘과 효율적인 $(\epsilon,\delta)$-근사 알고리즘을 도입하여, 질문 응답과 같은 작업에서 성능 향상을 입증하였으며, 작은 모델(GPT-JT)이 고중요도 데이터로 증강될 경우 GPT-3.5를 초월할 수 있음을 보여주었다.

ABSTRACT

Retrieval augmentation enables large language models to take advantage of external knowledge, for example on tasks like question answering and data imputation. However, the performance of such retrieval-augmented models is limited by the data quality of their underlying retrieval corpus. In this paper, we propose an algorithm based on multilinear extension for evaluating the data importance of retrieved data points. There are exponentially many terms in the multilinear extension, and one key contribution of this paper is a polynomial time algorithm that computes exactly, given a retrieval-augmented model with an additive utility function and a validation set, the data importance of data points in the retrieval corpus using the multilinear extension of the model's utility function. We further proposed an even more efficient (ε, δ)-approximation algorithm. Our experimental results illustrate that we can enhance the performance of large language models by only pruning or reweighting the retrieval corpus, without requiring further training. For some tasks, this even allows a small model (e.g., GPT-JT), augmented with a search engine API, to outperform GPT-3.5 (without retrieval augmentation). Moreover, we show that weights based on multilinear extension can be computed efficiently in practice (e.g., in less than ten minutes for a corpus with 100 million elements).

연구 동기 및 목표

• 저품질 또는 노이즈가 있는 검색 코퍼스로 인해 발생하는 검색 증강 LLM의 성능 저하 문제를 해결하기 위해.
• 모델의 유용성에 미치는 영향을 기반으로 검색 코퍼스 내 개별 데이터 포인트의 중요도를 정량화하는 방법을 개발하기 위해.
• 추가 학습 없이도 코퍼스 재가중 또는 절삭을 통해 RAG 모델의 성능 향상을 가능하게 하기 위해.
• 다항식 시간 내에 정확한 알고리즘과 실용적인 $(\epsilon,\delta)$-근사 알고리즘을 제공하여 데이터 중요도를 효율적으로 계산하기 위해.

제안 방법

• 모델의 유용성 함수의 다중선형 확장을 사용하여 검색 코퍼스의 모든 부분집합에 대한 기대 성능을 표현한다.
• 각 데이터 포인트의 가중치에 대한 다중선형 확장의 도함수로 데이터 중요도를 정의함으로써 다항식 시간 내 정확한 계산이 가능해진다.
• 대규모 코퍼스(예: 1억 건)에 대해 확장 가능한 $(\epsilon,\delta)$-근사 알고리즘을 제안하여 오차 한계를 보장한다.
• 추가 유용성 함수와 검증 세트를 활용하여 각 데이터 포인트가 전체 모델 성능에 기여하는 정도를 평가한다.
• 데이터 중요도 점수를 활용해 검색 코퍼스를 재가중하거나 절삭함으로써 추론 시 성능을 향상시킨다.
• 모델 파라미터를 변경하지 않고 검색기와 생성기로 구성된 RAG 모델에 프레임워크를 적용하며, 오직 검색 코퍼스만 수정된다.

Figure 1: Data importance evaluation for retrieval-augmented models: The retriever $f_{ret}$ retrieves $K$ data points from the retrieval corpus $\mathcal{D}_{ret}$ and provides them to the answer generator $f_{gen}$ . Our data importance evaluator learns weights for the data sources in the retrieva

실험 결과

연구 질문

• RQ1 다중선형 확장 기반의 데이터 중요도 점수로 추가 튜닝 없이 검색 증강 LLM의 성능을 향상시킬 수 있는가?
• RQ2 대규모 검색 코퍼스(예: 1억 건)에 대해 데이터 중요도는 얼마나 효율적으로 계산될 수 있는가?
• RQ3 데이터 중요도 기반 절삭 또는 재가중이 표준 검색 증강 기법보다 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ4 고중요도 데이터로 증강된 작은 LLM(예: GPT-JT)이 큰 모델(예: GPT-3.5)을 초월할 수 있는가?
• RQ5 질문 응답 및 데이터 보정과 같은 다양한 NLP 작업에서 이 방법의 탄력성은 어떠한가?

주요 결과

• 제안된 정확한 알고리즘은 다항식 시간 내에 데이터 중요도를 계산하여 대규모 코퍼스에 대해서도 적용 가능하다.
• $(\epsilon,\delta)$-근사 알고리즘은 낮은 계산 비용으로 높은 정확도를 달성하여 실용적인 구현이 가능하다.
• 모델 튜닝 없이도 데이터 중요도 기반으로 검색 코퍼스 재가중 또는 절삭이 모든 평가된 작업에서 모델 성능 향상을 이끌어냈다.
• 위키텍스트 질문 응답 벤치마크에서, GPT-JT(6B)가 데이터 중요도 기반 검색을 통해 GPT-3.5(175B)를 여러 관계에서 능가하였으며, 최대 77.5%의 정확도를 기록했다.
• 이 방법은 효율적으로 확장 가능했으며, 표준 머신에서 1억 건의 코퍼스 항목에 대한 데이터 중요도 계산이 10분 이내에 완료되었다.
• 최고 성능을 낸 설정에서는 기준 검색 증강 모델 대비 정확도에서 상대적으로 20-30% 향상된 성능을 달성했다.

Figure 2: Accuracy for question answering on the 70 relations from WikiFact .