[논문 리뷰] Topical-Chat: Towards Knowledge-Grounded Open-Domain Conversations

Karthik Gopalakrishnan, Behnam Hedayatnia외 6명|arXiv (Cornell University)|2023. 08. 23.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 약 11,000개의 대화를 포함하는 인간 간의 지식 기반 오픈 도메인 대화 데이터셋인 Topical-Chat을 소개한다. 이 데이터셋은 8개의 넓은 주제를 다루며, 사전 정의된 역할이 없고, 실제 세계의 지식 다양성을 반영하기 위해 비대칭 또는 대칭적인 독서 세트를 제공한다. 저자들은 이 데이터셋을 기반으로 Transformer 기반의 인코더-디코더 모델을 훈련시켜 자동 평가 및 인간 평가를 통해 응답의 다양성과 지식 기반 성능 향상을 입증하였으며, 최고의 모델은 빈도가 높은 테스트 세트에서 0.84의 유니그램 F1과 0.83의 바이그램 다양성을 달성하였다.

ABSTRACT

Building socialbots that can have deep, engaging open-domain conversations with humans is one of the grand challenges of artificial intelligence (AI). To this end, bots need to be able to leverage world knowledge spanning several domains effectively when conversing with humans who have their own world knowledge. Existing knowledge-grounded conversation datasets are primarily stylized with explicit roles for conversation partners. These datasets also do not explore depth or breadth of topical coverage with transitions in conversations. We introduce Topical-Chat, a knowledge-grounded human-human conversation dataset where the underlying knowledge spans 8 broad topics and conversation partners don't have explicitly defined roles, to help further research in open-domain conversational AI. We also train several state-of-the-art encoder-decoder conversational models on Topical-Chat and perform automated and human evaluation for benchmarking.

연구 동기 및 목표

• 실제 대화에서 지식의 비대칭성과 주제 깊이의 다양성을 반영하지 못한 자연스럽고 지식 기반의 오픈 도메인 대화 데이터셋이 부족한 문제를 해결하기 위해.
• 넓은 주제 커버리지와 자연스러운 주제 전환을 제공함으로써 오픈 도메인 대화형 AI 연구를 가능하게 하기 위해.
• 실제로 인간이 생성한 지식 기반 대화 벤치마크에서 최첨단 모델의 성능을 평가하기 위해.
• 자동 평가 및 인간 평가 지표를 모두 활용하여 지식 기반 생성의 효과성을 평가하기 위해.

제안 방법

• 데이터셋은 아마존 Mechanical Turk를 통해 수집되었으며, 참가자들이 주제별 독서 세트(위키백과, 워싱턴 포스트, 레딧)를 받고 자연스럽고 역할이 없는 대화를 나누었다.
• 독서 세트는 실제 대화자 간의 지식 불균형을 반영하기 위해 대칭 또는 비대칭으로 설계되었다.
• 각 대화는 독서 세트 활용도, 감정, 기타 차원에 대해 주석 처리되어 평가를 지원하였다.
• 저자들은 Topical-Chat에서 Transformer 기반의 인코더-디코더 모델을 미세조정하였으며, 컨텍스트 창 크기 $W_H = 32$를 사용한 지식 인식 주의 메커니즘을 적용하였다.
• BookCorpus에서 미사전 훈련을 하거나 하지 않은 상태에서 모델을 훈련시켰으며, 어휘 토큰화를 위해 빔 서치(빔 크기 5)와 바이트-페어 인코딩(BPE)을 사용하였다.
• 지식 기반 생성은 대화 기록과 검색된 지식 문장을 모두 조건으로 하여 디코더를 조정함으로써 구현되었으며, 긴 지식 입력을 수용하기 위해 $W_K = 128$로 설정되었다.

실험 결과

연구 질문

• RQ1 Transformer 기반 모델은 오픈 도메인 대화에서 다양한 실제 지식 소스를 기반으로 응답을 얼마나 효과적으로 생성할 수 있는가?
• RQ2 지식 기반 생성은 오픈 도메인 대화에서 응답의 일관성, 주제 관련성 및 참여도를 어느 정도 향상시키는가?
• RQ3 예측 훈련 및 지식 통합과 같은 다양한 훈련 전략에 따라 모델 성능은 어떻게 변화하는가?
• RQ4 자동 평가 지표는 지식 기반 대화에서 응답 품질에 대한 인간 평가와 얼마나 잘 상관되는가?

주요 결과

• 가장 뛰어난 성능을 보인 모델(TF에 지식 및 미사전 훈련 적용)은 빈도가 높은 테스트 세트에서 유니그램 F1이 0.22, 바이그램 다양성은 0.84를 기록하여 높은 어휘 정보성과 다양성을 보였다.
• 지식 기반 모델은 비지식 기반 베이스라인 대비 더 높은 유니그램 F1(0.22)과 더 높은 퍼플렉서티(34.1)를 기록하였으며, 이는 참조 응답과의 보다 우수한 일치를 확인한다(비지식 기반: F1 0.16, PPL 29.8).
• 인간 평가 결과, 지식을 사용한 모델은 지식 활용 효과성 평균 0.80을 기록한 반면 비지식 모델은 0.08에 머물러 있어 지식 기반 모델이 더 효과적으로 지식을 활용하는 것으로 평가되었다. 다만 효과성은 여전히 중간 정도 수준이었다.
• 컨텍스트 창 크기 $W_H = 32$를 사용한 모델가 가장 뛰어난 자동 평가 지표를 기록하여, 너무 큰 컨텍스트 창은 핵심 대화 토큰에 대한 주의를 저해함을 시사한다.
• 사람들이 '-interesting' 및 'continue conversation' 라벨에 대해 높은 일치도를 보이지 않았다(kappa < 0.3)는 점에서 이 속성들이 주관적임을 시사하지만, 이해 가능성 및 주제 관련성과 같은 다른 지표는 높은 신뢰도를 보였다(kappa ≥ 0.67).
• 데이터셋은 높은 다양성 점수와 독서 세트 활용도를 일관되게 보여주는 주석을 통해 자연스러운 주제 전환과 다양한 지식 활용을 지원한다.