[논문 리뷰] FaithDial: A Faithful Benchmark for Information-Seeking Dialogue

Nouha Dziri, Ehsan Kamalloo외 5명|arXiv (Cornell University)|2022. 04. 22.

Topic Modeling인용 수 25

한 줄 요약

FaithDial은 Hallucination이 많은 Wizard of Wikipedia 대화를 편집하여 정보 탐색 대화 벤치마크를 충실하게 만들고, 환각 평론가를 훈련시키고 더 충실한 대화를 생성할 수 있게 하며, 제로샷 전이 이점과 긍정적인 인간 평가를 제공합니다.

ABSTRACT

The goal of information-seeking dialogue is to respond to seeker queries with natural language utterances that are grounded on knowledge sources. However, dialogue systems often produce unsupported utterances, a phenomenon known as hallucination. To mitigate this behavior, we adopt a data-centric solution and create FaithDial, a new benchmark for hallucination-free dialogues, by editing hallucinated responses in the Wizard of Wikipedia (WoW) benchmark. We observe that FaithDial is more faithful than WoW while also maintaining engaging conversations. We show that FaithDial can serve as training signal for: i) a hallucination critic, which discriminates whether an utterance is faithful or not, and boosts the performance by 12.8 F1 score on the BEGIN benchmark compared to existing datasets for dialogue coherence; ii) high-quality dialogue generation. We benchmark a series of state-of-the-art models and propose an auxiliary contrastive objective that achieves the highest level of faithfulness and abstractiveness based on several automated metrics. Further, we find that the benefits of FaithDial generalize to zero-shot transfer on other datasets, such as CMU-Dog and TopicalChat. Finally, human evaluation reveals that responses generated by models trained on FaithDial are perceived as more interpretable, cooperative, and engaging.

연구 동기 및 목표

• 훈련 데이터의 환각을 줄여 신뢰할 수 있고 지식 기반의 대화를 촉진한다.
• Wikipedia 조각에 대해 기존 WoW 발화를 편집하여 확장 가능한 충실한 주석 워크플로를 만든다.
• FaithDial에서 파생된 데이터를 사용해 환각 평론가를 훈련하고 충실한 대화 생성을 개선한다.
• 다른 데이터셋에서 제로샷 전이로 FaithDial의 이점이 일반화되는지 탐구한다.
• 인간 평가를 통해 충실성과 참여 효과를 검증한다.

제안 방법

• Wizard of Wikipedia에서 환각을 일으키는 대화를 해당 지식 원천에 충실하도록 편집한다.
• 지식 조각에 대한 의미적 함의 근거를 통해 충실성을 형식적으로 정의한다.
• 품질 관리가 포함된 크라우드소싱 주석으로 환각 및 편집 필요성을 라벨링한다.
• FaithDial에서 파생된 데이터를 사용해 FaithCritic이라는 환각 평론가를 훈련하고 전이 능력을 평가한다.
• FaithDial/ WoW를 혼합한 설정에서 FaithDial을 사용한 모델(GPT2, DialoGPT, T5, DoHA, CTRL, InfoNCE)과 보조 손실을 실험해 충실성을 향상한다.
• 훈련 중 Faithful 대 응답 간의 구별을 돕는 InfoNCE 대조적 objective를 사용한다.

실험 결과

연구 질문

• RQ1 FaithDial이 WoW에 비해 지식 기반 대화 생성에서 환각을 줄일 수 있는가?
• RQ2 FaithDial에서 학습된 모델이 충실성 및 추상성 메트릭에서 얼마나 잘 작동하는가?
• RQ3 충실성 이점이 CMU-DoG, TopicalChat 등 다른 데이터셋의 제로샷 설정으로 전이되는가?
• RQ4 FaithDial에서 학습된 FaithCritic이 다른 NLU 태스크 및 벤치마크로 전이될 수 있는가?
• RQ5 FaithDial 기반 훈련이 인간이 인지하는 협력성, 해석 가능성, 참여도에 어떤 영향을 미치는가?

주요 결과

• FaithDial은 약 50K 턴에 걸친 5.5K 대화로 구성되며 인간 검증에서 94.4%의 충실한 발화와 5.6%의 환각을 달성한다.
• FaithCritic( FaithDial에서 파생된 FaithCritic)에서 학습된 환각 평론가는 DNLI와 DECODE 같은 베이스라인보다 제로샷 설정에서 MNLI 및 BEGIN으로의 전이가 더 잘 된다.
• FaithDial로 모델을 훈련하면 WoW만 사용했을 때에 비해 환각이 크게 줄고 충실성 메트릭(Q2-NLI 등)이 향상되며, FaithDial/WoW 하이브리드 설정은 추가 이점을 제공한다.
• FaithDial로 훈련된 모델은 CMU-DoG 및 TopicalChat으로의 제로샷 전이로 일반화된다.
• 인간 평가에 따르면 FaithDial로 학습된 응답이 WoW로 학습된 응답보다 해석 가능성, 협력성, 참여도가 더 높은 것으로 나타난다.
• FaithDial은 WoW에 비해 지식의 추상적 활용(밀도는 낮아지지만 커버리지와 유사)을 촉진하여 충실성을 유지하면서 대화 품질을 향상시킨다.