[논문 리뷰] Atlas: Few-shot Learning with Retrieval Augmented Language Models

Gautier Izacard, Patrick Lewis외 8명|arXiv (Cornell University)|2022. 08. 05.

Topic Modeling인용 수 196

한 줄 요약

Atlas는 회수-강화 언어 모델이 대형 LLM보다 훨씬 적은 파라미터로도 소수-shot 지식 작업에서 뛰어날 수 있음을 보여주며, 검색기(retriever)와 seq2seq 리더를 함께 훈련시켜 달성한다.

ABSTRACT

Large language models have shown impressive few-shot results on a wide range of tasks. However, when knowledge is key for such results, as is the case for tasks such as question answering and fact checking, massive parameter counts to store knowledge seem to be needed. Retrieval augmented models are known to excel at knowledge intensive tasks without the need for as many parameters, but it is unclear whether they work in few-shot settings. In this work we present Atlas, a carefully designed and pre-trained retrieval augmented language model able to learn knowledge intensive tasks with very few training examples. We perform evaluations on a wide range of tasks, including MMLU, KILT and NaturalQuestions, and study the impact of the content of the document index, showing that it can easily be updated. Notably, Atlas reaches over 42% accuracy on Natural Questions using only 64 examples, outperforming a 540B parameters model by 3% despite having 50x fewer parameters.

연구 동기 및 목표

• 소수-shot 설정에서 회수-강화 언어 모델의 설계 및 학습 전략에 관한 심층 연구.
• 저파라미터로 지식 집약적 작업을 수행하는 Atlas라는 모델을 개발하고 평가한다.
• 소수-shot 작업을 위해 검색기와 언어 모델 구성요소를 모두 효율적으로 미세조정하는 방법을 조사한다.
• Atlas가 사용하는 외부 지식 인덱스의 업데이트 및 해석 가능성을 평가한다.

제안 방법

• Dense 이중 인코더 검색기(Contriever)와 Fusion-in-Decoder를 갖춘 T5 기반 시퀀스-투-시퀀스 리더로 구성된 두 구성요소 아키텍처를 사용한다.
• LM 신호를 활용하는 다중 검색 기반 목적(functions)을 사용하여 검색기와 리더를 공동으로 훈련한다(ADist, EMDR2, PDist, LOOP).
• 검색기와 LM 능력을 정렬하기 위해 감독 없는 작업(prefix LM, masked LM, title-to-section generation)으로 사전 학습한다.
• 쿼리 측 최적화를 사용한 미세조정 및 검색기 인덱스의 신선도 관리를 위한 인덱스 업데이트 전략 실험.
• 모든 작업을 텍스트-투-텍스트 패러다임으로 설정하고, 인코더에서 검색된 문서를 독립적으로 처리하며 디코더에서 교차 주의를 사용한다.
• 훈련 중 인덱스 새로 고침 오버헤드를 줄이기 위한 효율적인 검색기 미세조정 전략을 탐색한다.

실험 결과

연구 질문

• RQ1 상대적으로 적은 학습 예제로도 회수-강화 모델이 지식 집약적 작업을 학습할 수 있는가?
• RQ2 소수-shot 학습을 위해 어떤 학습 신호와 사전 학습 목표가 검색기와 언어 모델을 가장 잘 맞추는가?
• RQ3 인덱스 업데이트 전략이 학습 효율성과 다운스트림 성능에 어떤 영향을 미치는가?

주요 결과

• Atlas는 64개의 학습 예제로 11B 파라미터 모델로 Natural Questions에서 42.4% 정확도를 달성하여 540B 파라미터 모델보다 약 3포인트 더 우수하다.
• 위키피디아 단독 인덱스로 Atlas는 Natural Questions에서 45.1%에 도달하고 전체 데이터세트 설정에서 64.0%를 달성하여 새로운 최첨단을 8포인트 차로 확립한다.
• Atlas는 MMLU, TriviaQA, FEVER 및 기타 KILT 작업에서 강력한 소수-shot 및 전체 데이터세트 성능을 보여주며, 종종 훨씬 더 큰 모델을 능가한다.
• 검색기와 LM의 결합 사전학습은 소수-shot 성능에 결정적이며, 여러 검색기 감독 손실(ADist, EMDR2, PDist, LOOP)이 효과적이다.
• 효율적인 검색기 미세조정 전략과 인덱스 관리 기법은 대형 문서 모음으로의 실용적 학습을 가능하게 한다.