[논문 리뷰] Conversing by Reading: Contentful Neural Conversation with On-demand Machine Reading

Lianhui Qin, Michel Galley외 6명|arXiv (Cornell University)|2019. 06. 06.

Topic Modeling참고 문헌 38인용 수 18

한 줄 요약

이 논문은 웹 페이지에 기반한 실시간 기계적 독해를 통합하여 내용이 풍부하고 지식 기반의 응답을 생성하는 엔드 투 엔드 신경망 대화 모델인 CMR(Reading을 통한 대화)를 제안한다. 대화 기록을 질문으로 간주하고 장문의 웹 문서를 맥락으로 삼아, MRC 기반 인코더를 사용해 관련 정보를 검색하고 통합함으로써, 웹 페이지에 기반한 새로운 280만 턴 데이터셋에서 기존 모델 대비 응답의 정보성과 다양성이 크게 향상된다.

ABSTRACT

Although neural conversation models are effective in learning how to produce fluent responses, their primary challenge lies in knowing what to say to make the conversation contentful and non-vacuous. We present a new end-to-end approach to contentful neural conversation that jointly models response generation and on-demand machine reading. The key idea is to provide the conversation model with relevant long-form text on the fly as a source of external knowledge. The model performs QA-style reading comprehension on this text in response to each conversational turn, thereby allowing for more focused integration of external knowledge than has been possible in prior approaches. To support further research on knowledge-grounded conversation, we introduce a new large-scale conversation dataset grounded in external web pages (2.8M turns, 7.4M sentences of grounding). Both human evaluation and automated metrics show that our approach results in more contentful responses compared to a variety of previous methods, improving both the informativeness and diversity of generated output.

연구 동기 및 목표

• 신경망 대화 시스템에서 내용이 풍부하고 빈약하지 않은 응답을 생성하는 데 도전하는 것.
• 대화 중에 장문의 웹 문서에서 외부 지식을 즉시 통합할 수 있도록 하는 것.
• 응답 생성과 기계적 독해 comprehension을 동시에 모델링하여 더 깊이 있는 지식 기반을 확보하는 것.
• 연구를 위해 외부 웹 페이지에 기반한 대규모 실세계 대화 데이터셋을 구축하는 것.
• MRC 방식의 독해 comprehension이 개방형 대화에서 응답 품질을 향상시킨다는 것을 입증하는 것.

제안 방법

• 모델는 대화 기록을 질문으로 간주하고 장문의 웹 문서를 맥락으로 삼아, 응답 생성을 기계적 독해 comprehension 작업으로 프레임워크화한다.
• 대화 기록과 문서를 별도로 임bedding하기 위해 듀얼 인코더 아키텍처를 사용한 후, BiLSTM을 통해 맥락 인코딩을 수행한다.
• 교차 어텐션을 적용해 대화 기록과 문서 간의 정보를 통합하고, 이후 자기 어텐션과 최종 BiLSTM을 통해 메모리 인코딩을 수행한다.
• 응답 생성기는 최종 인코딩된 메모리에 주의를 기울이고, 자동회귀 시퀀스 생성기를 사용해 자유형 응답을 생성한다.
• 표준 MRC 모델의 답변 스판 예측 헤드를 시퀀스 생성기로 대체함으로써 개방형 자연어 응답을 가능하게 한다.
• 모델는 외부 지도(annotation)가 필요 없이, 레딧 대화와 관련 웹 페이지가 연결된 새로운 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 즉시 적용 가능한 기계적 독해 comprehension이 신경망 대화 응답의 정보성과 다양성 향상에 기여하는가?
• RQ2 응답 생성과 독해 comprehension을 함께 학습하는 것이 지식과 응답 생성을 별도로 모델링하는 것보다 어떻게 다른가?
• RQ3 MRC 기반 프레임워크가 장문의 복잡한 문서를 대화 응답에 효과적으로 통합할 수 있는가?
• RQ4 합성 또는 단문 텍스트 지식 소스와 비교해 실세계의 비정형 웹 문서를 사용할 경우 응답 품질에 어떤 영향을 미치는가?
• RQ5 명시적인 지도 레이블 없이 대화-문서 쌍에서 엔드 투 엔드로 훈련하면, 약한 지도 학습 기반 모델보다 더 나은 지식 기반을 달성할 수 있는가?

주요 결과

• 인간 평가에서 CMR 모델은 지식 기반 응답 생성 모델과 기존의 무지식 기반 기준 모델 모두를 뛰어넘어 응답의 정보성과 다양성이 향상됨을 확인했다.
• 인간 평가 결과, CMR가 생성한 응답은 메모리 네트워크와 Seq2Seq 기준 모델의 응답보다 더 내용이 풍부하고 외부 문서에 더 잘 기반되어 있음이 입증되었다.
• BLEU, ROUGE, BERTScore 등의 자동 평가 지표에서 CMR는 강력한 기준 모델 대비 일관된 향상을 보이며 유창성과 관련성 향상을 확인했다.
• CMR는 레딧과 연결된 웹 페이지에서 추출한 280만 개의 대화 턴과 740만 개의 지식 기반 문장으로 구성된 새로운 대규모 데이터셋에서 최고 성능을 기록했다.
• 제거 실험 결과, 즉시 적용 가능한 독해 comprehension 통합이 성능 향상에 필수적임을 입증하였으며, 이를 제거하면 응답 품질이 크게 떨어졌다.
• 이 프레임워크는 다양한 주제에 잘 일반화되며 사실 기반 질문에 국한되지 않고 자유형 비사실적 대화에도 적합하여 개방형 대화에 적합하다.