[논문 리뷰] Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering

Shamane Siriwardhana, Rivindu Weerasekera외 4명|arXiv (Cornell University)|2022. 10. 06.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 도메인 특화 지식 기반을 사용하여 Retrieval-Augmented Generation (RAG) 모델의 리트리버 및 게터 컴포넌트를 공동으로 미세조정하는 RAG-end2end라는 종합적 훈련 프레임워크를 제안한다. 또한 도메인 특화 지식을 통합하기 위해 보조 재구성 신호를 도입한다. 이 방법은 코로나19, 뉴스, 대화와 같은 세 가지 도메인에서 원래의 RAG 모델보다 리트리버 성능과 답변 생성 성능 모두에서 뚜렷한 향상을 보이며, 성능 향상이 뚜렷하다.

ABSTRACT

Retrieval Augment Generation (RAG) is a recent advancement in Open-Domain Question Answering (ODQA). RAG has only been trained and explored with a Wikipedia-based external knowledge base and is not optimized for use in other specialized domains such as healthcare and news. In this paper, we evaluate the impact of joint training of the retriever and generator components of RAG for the task of domain adaptation in ODQA. We propose extit{RAG-end2end}, an extension to RAG, that can adapt to a domain-specific knowledge base by updating all components of the external knowledge base during training. In addition, we introduce an auxiliary training signal to inject more domain-specific knowledge. This auxiliary signal forces extit{RAG-end2end} to reconstruct a given sentence by accessing the relevant information from the external knowledge base. Our novel contribution is unlike RAG, RAG-end2end does joint training of the retriever and generator for the end QA task and domain adaptation. We evaluate our approach with datasets from three domains: COVID-19, News, and Conversations, and achieve significant performance improvements compared to the original RAG model. Our work has been open-sourced through the Huggingface Transformers library, attesting to our work's credibility and technical consistency.

연구 동기 및 목표

• 주로 위키백과에서 훈련된 RAG 모델이 의료 및 뉴스와 같은 전문 도메인에서 성능이 떨어지는 점을 해결하기 위해.
• 리트리버 및 게터 컴포넌트를 공동으로 미세조정하면 도메인 특화 오픈 도메인 질의응답(ODQA)에서 성능 향상이 이루어지는지 조사하기 위해.
• 수집된 도메인 특화 파assage에서 문장을 재구성하도록 강제하는 보조 훈련 신호의 영향을 평가하기 위해.
• 훈련 중 외부 지식 기반 임베딩을 업데이트하면 고정된 인코딩보다 일반화 능력 향상과 성능 저하 감소에 기여하는지 입증하기 위해.

제안 방법

• Dense Passage Retriever(DPR), Generator(BART), 외부 지식 기반 임베딩을 함께 훈련하는 엔드 투 엔드 훈련 프레임워크인 RAG-end2end를 제안한다.
• 수집된 파assage에서 사실 기반 문장을 생성하도록 훈련하는 재구성 보조 신호를 도입하여 도메인 특화 지식 학습을 강화한다.
• 코로나19 연구 논문, 뉴스 기사, 대화 데이터 등 도메인 특화 지식 기반을 사용하며, 이를 100단어 파assage로 분할하여 리트리버에 활용한다.
• 훈련 중 지식 기반 임베딩을 비동기적으로 업데이트하여 매번 전체 코퍼스를 재인코딩할 필요 없이 효율적인 업데이트를 가능하게 한다.
• 합성 QA 쌍이 필요 없이 질문-답변 쌍과 수집된 파assage를 사용하여 모델을 종합적으로 훈련한다.
• 재현 가능성과 커뮤니티 수용을 보장하기 위해 오픈소스 구현을 위해 Hugging Face Transformers 라이브러리를 활용한다.

실험 결과

연구 질문

• RQ1 비위키백과 도메인에서 RAG 모델의 도메인 적응성을 향상시키기 위해 리트리버 및 게터 컴포넌트를 공동으로 미세조정하면 성능 향상이 이루어지는가?
• RQ2 문장 재구성 보조 신호를 포함시키면 도메인 특화 ODQA에서 리트리버 및 게터 성능에 어떤 영향을 미치는가?
• RQ3 지식 기반 임베딩을 훈련 중 업데이트하는 것과 고정된 상태로 유지하는 것의 성능에 미치는 영향은 어떠한가?
• RQ4 RAG-end2end는 뉴스, 대화 데이터, 과학적 연구(예: 코로나19)와 같은 다양한 도메인에서 일관된 성능 향상을 보이며 일반화가 가능한가?
• RQ5 원래 RAG가 위키백과에서 사전 훈련된 SQuAD와 같은 도메인 내 데이터셋에서도 종합적 훈련이 성능 향상에 기여하는가?

주요 결과

• SQuAD 데이터셋에서 원래 RAG 대비 정확도 매칭(EM) 점수는 11.9점 절대 상승(28.12에서 40.02로), F1 점수는 13.21점 상승(39.42에서 52.63으로)하여 뚜렷한 성능 향상을 보였다.
• 코로나19 데이터셋에서 RAG-end2end는 원래 RAG를 뛰어넘는 성능을 보이며, 도메인 특화 지식을 활용한 과학적 질문 응답에서 뛰어난 성능을 보였다.
• 보조 재구성 신호는 모든 평가 도메인에서 리트리버 성능 향상과 최종 답변 생성 정확도 향상에 기여하였다.
• 리트리버와 게터를 공동으로 훈련하는 것이 DPR 리트리버를 별도로 미세조정하는 것보다 더 높은 성능을 내며, 종합적 최적화의 중요성을 입증하였다.
• 지식 기반 임베딩을 훈련 중 업데이트하면 성능 저하를 방지하고, 특히 위키백과 기반 외의 지식 기반을 사용할 경우 도메인 적응성이 향상됨을 확인하였다.
• 이 방법은 다양한 도메인에서 잘 일반화되며, 뉴스, 대화, 생물의학 데이터셋에서 리트리버(상위 5개 및 상위 20개)와 생성 성능(EM, F1) 지표에서 일관된 향상을 보였다.