[논문 리뷰] Internet-Augmented Dialogue Generation

Mojtaba Komeili, Kurt Shuster외 1명|arXiv (Cornell University)|2021. 07. 15.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 대화 맥락에서 검색 쿼리를 생성하고 외부 검색을 통해 실시간으로 최신 지식을 동적으로 검색하여 사실 일관성과 환각 현상을 향상시키는 인터넷 보강 대화 생성 프레임워크를 제안한다. 대화 맥락에서 검색 쿼리를 생성하고 결과를 검색하며, Fusion-in-Decoder를 사용해 검색된 증거를 기반으로 응답 생성을 조정함으로써, 실시간 웹 검색을 사용하는 인간 '워즈드'가 참여한 새로운 커뮤니티 기반 데이터셋에서 자동 평가 및 인간 평가 모두에서 보강되지 않은 모델과 FAISS 기반 검색 모델을 능가한다.

ABSTRACT

The largest store of continually updating knowledge on our planet can be accessed via internet search. In this work we study giving access to this information to conversational agents. Large language models, even though they store an impressive amount of knowledge within their weights, are known to hallucinate facts when generating dialogue (Shuster et al., 2021); moreover, those facts are frozen in time at the point of model training. In contrast, we propose an approach that learns to generate an internet search query based on the context, and then conditions on the search results to finally generate a response, a method that can employ up-to-the-minute relevant information. We train and evaluate such models on a newly collected dataset of human-human conversations whereby one of the speakers is given access to internet search during knowledgedriven discussions in order to ground their responses. We find that search-query based access of the internet in conversation provides superior performance compared to existing approaches that either use no augmentation or FAISS-based retrieval (Lewis et al., 2020).

연구 동기 및 목표

• 대규모 언어 모델에서 정적 지식의 한계를 해결하기 위해, 훈련 시점에서 동결되어 사실을 잘못 생성하는 경향이 있는 문제를 해결한다.
• 대화 중 실시간으로 인터넷에서 최신 정보에 접근할 수 있는 대화 생성 시스템을 개발한다.
• 보강되지 않은 모델과 FAISS 기반 검색 모델과의 비교를 통해 인터넷 보강 생성의 효과성을 평가한다.
• 한 명의 참가자가 인터넷 검색을 통해 응답을 근거화하는 인간-인간 대화 데이터셋을 수집하고 공개하여 실시간 지식 통합의 평가를 가능하게 한다.
• 검색 쿼리 생성 및 검색 통합과 같은 다양한 설계 선택 사항이 인터넷 보강의 영향을 분석한다.

제안 방법

• 모델은 대화 맥락에서 검색 쿼리를 생성하기 위해 순서-순서 아키텍처를 사용한다.
• 생성된 쿼리는 외부 검색 엔진(예: Bing)을 통해 관련 웹 문서를 검색하는 데 사용된다.
• 검색된 문서는 Fusion-in-Decoder(FiD) 방법을 사용해 디코더 입력에 인코딩 및 융합된다.
• 디코더는 대화 이력과 검색된 외부 지식을 모두 기반으로 응답을 생성한다.
• 모델은 한 명의 화자(즉, '워즈드')가 응답을 뒷받침하기 위해 인터넷 검색을 수행하는 새로운 커뮤니티 기반 데이터셋에서 미세조정된다.
• 시스템은 자동 평가 지표와 인간 평가를 모두 사용하여 보강되지 않은 모델과 FAISS 기반 검색 베이스라인과 비교 평가된다.

실험 결과

연구 질문

• RQ1 실시간 웹 결과를 검색하는 검색 쿼리를 생성하는 대화 모델이 훈련 시점의 동결된 지식에 의존하는 모델보다 더 사실적으로 정확한 응답을 생성할 수 있는가?
• RQ2 지식 기반 대화에서 인터넷 보강 대화 생성의 성능은 FAISS 기반 검색 모델과 보강되지 않은 모델과 비교해 어떻게 되는가?
• RQ3 검색 쿼리 생성 오류나 잘못된 지식 선택과 같은 인터넷 보강 대화 생성의 주요 실패 유형은 무엇인가?
• RQ4 검색 쿼리 구성이나 검색 통합과 같은 다양한 설계 선택 사항이 정확하고 관련성이 높은 응답 생성 능력에 어떤 영향을 미치는가?
• RQ5 표준 언어 모델에 비해 인터넷 보강이 해석 가능성과 디버깅 가능성에 얼마나 기여하는가?

주요 결과

• 자동 평가 및 인간 평가 모두에서 인터넷 보강 모델은 보강되지 않은 모델과 FAISS 기반 검색 모델을 크게 능가하며, 더 뛰어난 사실 일관성과 응답 관련성 확보를 입증한다.
• 최신 정보를 정확히 검색하고 활용할 수 있으며, 예를 들어 최근 방영된 TV 시리즈의 줄거리, 레스토랑 정보, 스포츠 스코어와 같은 정적 모델이 접근할 수 없는 정보를 처리할 수 있다.
• 개선에도 불구하고, 잘못된 지식 사용, 검색 쿼리 생성 오류, 가용한 올바른 정보를 활용하지 못하는 오류가 여전히 존재한다.
• 인간 평가 결과, 인터넷 보강 모델의 응답은 보강되지 않은 모델의 응답보다 더 정보가 풍부하고 정확하다고 평가된다.
• 모델이 인간이 읽을 수 있는 검색 쿼리를 생성하고 검색된 문서를 인용함으로써 표준 언어 모델에 비해 해석 가능성과 디버깅 가능성이 향상된다.
• 연구에서 조사한 결과, 정확한 지식이 존재하더라도 모델이 일반적인 응답으로 전환하는 경향이 있음을 확인했으며, 이는 단순한 검색을 넘어서 지식 활용의 도전 과제를 드러낸다.