[논문 리뷰] SAIL: Search-Augmented Instruction Learning

Hongyin Luo, Yung-Sung Chuang외 7명|arXiv (Cornell University)|2023. 05. 24.

Topic Modeling인용 수 6

한 줄 요약

SAIL는 외부 및 내부 검색 엔진에서 유입되는 노이즈가 많은 실제 검색 결과에 기반하여 대규모 언어 모델의 응답을 정립하는 검색 보강 지시 테이닝 프레임워크를 제안한다. 정교하게 선별된 (지시, 검색 결과, 응답) 삼중체 코퍼스를 기반으로 LLaMA-7B를 미세조정함으로써 SAIL-7B는 개방형 질의 응답 및 사실 확인과 같은 투명성 민감도가 높은 과제에서 GPT-3.5-Turbo와 Vicuna-13B와 같은 강력한 베이스라인을 능가하는 우수한 성능을 달성한다.

ABSTRACT

Large language models (LLMs) have been significantly improved by instruction fine-tuning, but still lack transparency and the ability to utilize up-to-date knowledge and information. In this work, we propose search-augmented instruction learning (SAIL), which grounds the language generation and instruction following abilities on complex search results generated by in-house and external search engines. With an instruction tuning corpus, we collect search results for each training case from different search APIs and domains, and construct a new search-grounded training set containing extit{(instruction, grounding information, response)} triplets. We then fine-tune the LLaMA-7B model on the constructed training set. Since the collected results contain unrelated and disputing languages, the model needs to learn to ground on trustworthy search results, filter out distracting passages, and generate the target response. The search result-denoising process entails explicit trustworthy information selection and multi-hop reasoning, since the retrieved passages might be informative but not contain the instruction-following answer. Experiments show that the fine-tuned SAIL-7B model has a strong instruction-following ability, and it performs significantly better on transparency-sensitive tasks, including open-ended question answering and fact checking.

연구 동기 및 목표

• 지시 테이닝된 LLM에서의 투명성 부족과 최신 지식의 부재를 해결한다.
• 위키백과와 같은 정적 지식 기반의 한계와 노이즈가 많은 상업용 검색 결과의 문제를 극복한다.
• LLM이 응답을 신뢰할 수 있는 정보에 기반하여 방해가 되거나 잘못된 검색 결과를 걸러내는 방법을 개발한다.
• 개방형 질의 응답 및 사실 확인과 같은 투명성 민감도가 높은 과제에서의 성능을 향상시킨다.
• 강력하고 신뢰할 수 있는 LLM을 훈련하기 위해 실제 세계의 검색 결과에 기반한 새로운 지시 테이닝 데이터셋을 구축한다.

제안 방법

• 지시 테이닝 데이터셋 내 각 지시에 대해 내부(비엠25를 통한 위키백과) 및 외부(상업용) 검색 엔진에서 검색 결과를 수집한다.
• 검색 결과를 포함한 (지시, 정립 정보, 응답) 삼중체로 구성된 새로운 훈련 코퍼스를 구축한다.
• 이 검색 기반 데이터셋을 기반으로 LLaMA-7B 모델을 미세조정하여 노이즈가 많은 문단들 사이에서 신뢰할 수 있는 정보를 선택하고 다중 힙 추론을 수행하도록 학습한다.
• 응답 생성 중에 관련 없거나 모순되는 문단을 식별하고 걸러내는 데 도움이 되는 검색 결과 정제 프로세스를 구현한다.
• 고품질의 응답을 생성하기 위해 GPT-4를 활용하여 훈련 데이터의 지시와 응답 간 일치를 보장한다.
• 지시 테이닝을 활용하여 동적이고 실시간 검색 입력에 의존하면서도 자연어 지시를 잘 따를 수 있는 능력을 향상시킨다.

Figure 1: Fact checking grounding on complicated search results with SAIL-7B and strong commercial language models. The first and third passages are distracting since they do not contain information that supports or refutes the claim, while the second passage disagrees with the claim. SAIL-7b Succes

실험 결과

연구 질문

• RQ1 노이즈가 많은 실제 세계의 검색 결과에 기반하여 LLM이 지시를 효과적으로 따를 수 있는가?
• RQ2 다양하고 상충되는 검색 결과에 기반한 LLM 정립이 투명성 민감도가 높은 과제에서 성능에 어떤 영향을 미치는가?
• RQ3 검색 보강 지시 테이닝 모델이 사실 확인 및 개방형 질의 응답 과제에서 표준 지시 테이닝 모델과 상업용 LLM을 얼마나 능가할 수 있는가?
• RQ4 폐쇄적이고 정적 지식 기반에 의존하지 않고도 모델이 다수의 검색 결과를 정제하고 추론하여 신뢰할 수 있는 정보를 추출할 수 있는가?
• RQ5 지시 테이닝에 실시간 검색 결과를 통합함으로써 LLM 생성 출력의 신뢰성과 설명 가능성이 향상되는가?

주요 결과

• SAIL-7B는 개방형 질의 응답 및 사실 확인 과제에서 GPT-3.5-Turbo와 Vicuna-13B와 같은 강력한 베이스라인을 크게 능가한다.
• 모델은 방해가 되거나 모순되는 검색 결과를 효과적으로 걸러내는 데에 강력한 성능을 보이며, 잘못된 내용이 존재하더라도 신뢰할 수 있는 정보를 정확히 식별한다.
• SAIL-7B는 정적 지식 기반 대신 실시간 동적 검색 결과에 기반한 정립 덕분에 투명성 민감도가 높은 과제에서 높은 성능을 달성한다.
• 검색 결과 정제 프로세스를 통해 다중 힙 추론과 신뢰할 수 있는 정보 선택이 가능해지며, 이는 정확한 응답 생성에 필수적이다.
• 지시 테이닝과 검색 기반 정립을 조합함으로써 모델의 성능이 향상되며, 이는 두 구성 요소가 고급 지시 따르기 능력을 향상시키는 데 필수적임을 보여준다.
• 실험 결과는 지시 테이닝된 LLM이 잘못된 검색 결과에 매우 취약함을 확인하였으며, 이는 전용 정제 및 정립 메커니즘이 필요함을 입증한다.

Figure 2: Different prompting strategies used in this work. (a) Standard prompt : the prompt template used in Peng et al. ( 2023 ) to generate GPT-4 responses to the 52k instructions. (b) Search-augmented prompt : combining the top three search results and the instruction.