[논문 리뷰] Efficient Retrieval Augmented Generation from Unstructured Knowledge for Task-Oriented Dialog

David Thulke, Nico Daheim외 2명|arXiv (Cornell University)|2021. 02. 09.

Topic Modeling참고 문헌 22인용 수 29

한 줄 요약

논문은 작업 지향 대화에서 비구조화 문서로부터 지식을 선택하기 위한 두 가지 효율적인 검색 전략을 조사하고, 검색 증강 생성(RAG)을 결합하여 응답 품질을 개선하면서 계산 시간은 줄인다.

ABSTRACT

This paper summarizes our work on the first track of the ninth Dialog System Technology Challenge (DSTC 9), "Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access". The goal of the task is to generate responses to user turns in a task-oriented dialog that require knowledge from unstructured documents. The task is divided into three subtasks: detection, selection and generation. In order to be compute efficient, we formulate the selection problem in terms of hierarchical classification steps. We achieve our best results with this model. Alternatively, we employ siamese sequence embedding models, referred to as Dense Knowledge Retrieval, to retrieve relevant documents. This method further reduces the computation time by a factor of more than 100x at the cost of degradation in R@1 of 5-6% compared to the first model. Then for either approach, we use Retrieval Augmented Generation to generate responses based on multiple selected snippets and we show how the method can be used to fine-tune trained embeddings.

연구 동기 및 목표

• API 기반 데이터베이스를 넘어서 작업 지향 대화에서 사용자 턴에 답하기 위해 비구조화 지식의 사용을 동기 부여한다.
• 실시간 제약 내에서 대용량 문서 집합을 다루기 위한 효율적인 지식 검색 방법을 개발한다.
• 여러 관련 스니펫에 조건부로 응답을 생성하는 검색 증강 생성의 영향을 조사한다.
• 계산량을 줄이기 위해 계층적 선택과 단일 단계 검색을 대안으로 평가한다.

제안 방법

• 계산량을 줄이기 위해 지식 선택을 단일 단계 검색에 비해 계층적 분류 문제로 공식화한다.
• 시암-로버타(siameseRoBERTa) 인코더를 사용하여 조밀하고 유사도 기반의 문서 순위를 얻는 Dense Knowledge Retrieval(DKR)를 제안한다.
• 잠재 변수 k를 통해 다수의 검색된 스니펫에 조건부로 응답을 생성하는 Retrieval Augmented Generation(RAG)을 도입한다.
• 탐지, 선택, 생성 작업을 개선하기 위한 다중 작업 및 공동 학습 접근법을 탐색한다.
• 생성 품질에 대한 디코딩 전략(빔 검색, 핵표본화)과 컨텍스트 길이의 영향을 비교한다.
• 도메인/엔티티 특화 스니펫과 별도의 어피스트 도메인을 포함하는 MultiWOZ 기반 DSTC9 Track 1 데이터를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 대규모 비구조화 지식 베이스에서의 지식 선택을 정확성을 해치지 않으면서 작업 지향 대화에 대해 어떻게 효율적으로 만들 수 있는가?
• RQ2 속도와 검색 품질 측면에서 계층적 선택과 조밀한 임베딩 검색 간의 트레이드오프는 무엇인가?
• RQ3 여러 스니펫이 가능할 때 검색 증강 생성이 응답성 및 사실적 정확성을 향상시키는가?
• RQ4 탐지, 선택, 생성 하위 작업 전반에서 성능을 향상시키기 위해 공동 학습이나 다중 작업 학습이 가능할까?
• RQ5 지식 검색 패러다임 하에서 디코딩 전략과 대화 맥락 길이가 생성 품질에 어떤 영향을 미치는가?

주요 결과

• 계층적 선택은 기준 선택보다 20배의 속도 향상으로 강한 검색 정확도를 달성하여 실시간 응답을 더 빠르게 한다.
• Dense Knowledge Retrieval(DKR)은 계층적 선택에 비해 >100배, 기준선에 비해 >2,500배의 속도 향상을 제공하며, 검증 지표는 경쟁적이지만 새로운 도메인에 대한 일반화는 더 약하다.
• Retrieval Augmented Generation(RAG)은 다수의 스니펫에 기반으로 생성을 조건화할 수 있어 일부 예에서 사실 수정 및 보다 정보성 있는 응답을 가능하게 한다.
• RAG와의 공동 학습은 일부 지표를 향상시키지만 데이터셋과 작업 간 편차가 있으며 다중 작업 학습은 전반적으로 제한된 이점을 보인다.
• 더 긴 대화 맥락(최대 384 토큰)이 짧은 맥락에 비해 R@1을 상당히 향상시키고, 지식 검색에서 맥락의 중요성을 강조한다.