[논문 리뷰] WebBrain: Learning to Generate Factually Correct Articles for Queries by Grounding on Large Web Corpus

Hongjing Qian, Yutao Zhu외 8명|arXiv (Cornell University)|2023. 04. 10.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 웹 코퍼스에서 증거를 근거로 삼아 사실적으로 정확하고 위키백과 스타일의 기사들을 사실적 질문에 대해 생성하는 새로운 NLP 과제인 WebBrain을 소개한다. 저자들은 사실적 정확성을 향상시키기 위해 개선된 증거 검색, 인용 인식 생성, 사실 중심 사전 훈련을 통합한 ReGen 프레임워크를 제안하며, 새로 구축한 10배로 더 큰 데이터셋인 WebBrain-Raw에서 자동 평가 및 인간 평가 모두에서 최신 기술 수준(SOTA) 성능을 달성하였다.

ABSTRACT

In this paper, we introduce a new NLP task -- generating short factual articles with references for queries by mining supporting evidence from the Web. In this task, called WebBrain, the ultimate goal is to generate a fluent, informative, and factually-correct short article (e.g., a Wikipedia article) for a factual query unseen in Wikipedia. To enable experiments on WebBrain, we construct a large-scale dataset WebBrain-Raw by extracting English Wikipedia articles and their crawlable Wikipedia references. WebBrain-Raw is ten times larger than the previous biggest peer dataset, which can greatly benefit the research community. From WebBrain-Raw, we construct two task-specific datasets: WebBrain-R and WebBrain-G, which are used to train in-domain retriever and generator, respectively. Besides, we empirically analyze the performances of the current state-of-the-art NLP techniques on WebBrain and introduce a new framework ReGen, which enhances the generation factualness by improved evidence retrieval and task-specific pre-training for generation. Experiment results show that ReGen outperforms all baselines in both automatic and human evaluations.

연구 동기 및 목표

• 사전에 접촉하지 않은 사실적 질문에 대해 외부 웹 증거에 기반하여 사실적으로 정확하고 정보가 풍부한 기사를 생성하는 과제를 해결하기 위해.
• 내부 지식에 의존하는 것이 아니라 검색 가능한 인용 증거에 기반함으로써 대규모 언어 모델의 환각 현상을 극복하기 위해.
• 기존 경쟁 데이터셋보다 10배 더 큰 데이터셋인 WebBrain-Raw를 구축하여 사실 기사 생성을 위한 대규모 벤치마크를 설정하기 위해.
• 현재 최신 기술 수준의 모델들이 인용된 사실 기반 콘텐츠 생성에서 보이는 한계를 평가하고, 사실 일관성과 커버리지 향상을 위한 해결책을 제안하기 위해.

제안 방법

• 모든 영어 위키백과 기사와 그에 해당하는 참조 기사들을 추출하여 이 과제에 대해 가장 큰 공개 데이터셋인 WebBrain-Raw를 구축한다.
• 과제 특화 데이터셋 두 개를 유도한다: 도메인 내 검색기 훈련을 위한 WebBrain-R와 사실 인식 생성기 훈련을 위한 WebBrain-G.
• 주제 일관성 있는 증거 검색, 생성 중 명시적 인용 표시, 사실 중심 사전 훈련 목표를 활용한 사전 학습된 자기 지도 학습 목표를 통합한 통합 프레임워크인 ReGen을 설계한다.
• BART와 FiD를 사용한 딜리게이션 설정에서 생성기를 미세 조정하는 웜업 전략을 구현하여 사전 훈련과 최종 과제 분포 사이의 격차를 줄인다.
• 검색기와 생성기를 통합한 증강된 생성 파이프라인을 통합하여 검색기가 관련 증거를 선택하고 생성기가 질문과 검색된 참조 자료를 기반으로 조건화되도록 한다.
• 다단계 훈련 프로세스를 사용한다: 먼저 생성기를 사실 중심 과제에서 사전 훈련한 후, 검색된 증거와 인용 감독을 통해 미세 조정한다.

실험 결과

연구 질문

• RQ1 사전에 접촉하지 않은 사실적 질문에 대해 외부 증거에 기반하지 않고 프롬프트만으로 기존 대규모 언어 모델이 사실적으로 정확하고 위키백과 스타일의 기사를 생성할 수 있는가?
• RQ2 검색된 웹 증거에 기반한 생성 방식은 순수히 파rameter 기반 생성 방식에 비해 사실 일관성과 커버리지 향상에 얼마나 기여하는가?
• RQ3 인용 인식 생성과 개선된 증거 검색이 기사 생성의 사실 정확성 향상에 얼마나 기여하는가?
• RQ4 사실 중심 사전 훈련과 웜업 전략이 WebBrain 과제에서 사실 인식 생성기의 성능 향상에 상당한 기여를 할 수 있는가?
• RQ5 훈련 데이터의 규모(웹브레인-러)가 생성된 기사의 일반화 능력과 사실 정확성에 어떤 영향을 미치는가?

주요 결과

• ReGen(large)는 BLEU-1(28.94), METEOR(14.87), ROUGE-L(21.27), CIDEr(19.30), QAGS(48.72), TripleScore(12.56)를 포함한 모든 자동 평가 지표에서 최고 점수를 기록하여 GPT-3 및 기타 베이스라인을 압도했다.
• TripleScore가 12.56로 상승하여 실제 지식과의 일치도가 높아지고 환각 현상이 감소함을 확인함으로써 ReGen 프레임워크가 사실 정확성을 크게 향상시켰다.
• 인간 평가 결과, 특히 참조 자료가 제공된 경우 ReGen은 GPT-3 및 기타 베이스라인보다 더 유창하고 정보가 풍부하며 사실적으로 정확한 기사를 생성함을 확인했다.
• 생성 중 인용 표시를 사용함으로써 출처 기여도가 향상되었고, 주장과 증거 간의 연결을 더 잘 수행하여 사실 오류를 줄였다.
• 밀도 기반 검색(DPR)은 정밀도보다 재현율이 더 높게 나타났으며, 이는 더 많은 콘텐츠를 포괄하지만 더 많은 노이즈를 포함함을 시사한다. 이는 여러 검색기를 조합하면 성능 향상이 가능할 수 있음을 의미한다.
• 웜업 전략은 사전 훈련과 미세 조정 사이의 성능 격차를 상당히 줄였고, 문장-참조 매칭을 향상시키며 사실 커버리지 향상에 기여했다.