[논문 리뷰] Towards Exploiting Background Knowledge for Building Conversation Systems

Nikita Moghe, Siddhartha Arora외 2명|arXiv (Cornell University)|2018. 09. 21.

Topic Modeling참고 문헌 34인용 수 11

한 줄 요약

이 논문은 9,000개의 영화 대화에서 유저 90,000명의 발화를 포함한 배경 인식 대화 데이터셋을 소개한다. 이 데이터셋은 응답이 비정형 지식(줄거리, 리뷰, 댓글 등)에 명시적으로 기반을 두고 있다. 본 논문은 순수 생성, 복사 보정 생성, 스파니크 예측의 세 가지 모델 유형을 제안하고 평가하여, 배경 지식을 활용하는 모델이 이를 忽시하는 모델보다 더 일관되고 맥락에 부합하는 응답을 생성함을 입증한다.

ABSTRACT

Existing dialog datasets contain a sequence of utterances and responses without any explicit background knowledge associated with them. This has resulted in the development of models which treat conversation as a sequence-to-sequence generation task i.e, given a sequence of utterances generate the response sequence). This is not only an overly simplistic view of conversation but it is also emphatically different from the way humans converse by heavily relying on their background knowledge about the topic (as opposed to simply relying on the previous sequence of utterances). For example, it is common for humans to (involuntarily) produce utterances which are copied or suitably modified from background articles they have read about the topic. To facilitate the development of such natural conversation models which mimic the human process of conversing, we create a new dataset containing movie chats wherein each response is explicitly generated by copying and/or modifying sentences from unstructured background knowledge such as plots, comments and reviews about the movie. We establish baseline results on this dataset (90K utterances from 9K conversations) using three different models: (i) pure generation based models which ignore the background knowledge (ii) generation based models which learn to copy information from the background knowledge when required and (iii) span prediction based models which predict the appropriate response span in the background knowledge.

연구 동기 및 목표

• 기존 대화 데이터셋에서 명시적인 배경 지식의 부족으로 인해 모델이 인간의 대화 행동을 모방하지 못하는 문제를 해결하기 위해.
• 응답이 영화 줄거리, 리뷰, 댓글과 같은 비정형 배경 지식에 기반한 새로운 데이터셋을 구축하기 위해.
• 배경 지식을 활용하는 다양한 모델링 접근 방식의 효과성을 평가하여 더 일관되고 맥락에 부합하는 대화 생성을 가능하게 하기 위해.
• 배경 지식을 통합한 모델이 순수히 발화 이력에 의존하는 모델보다 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 아마존 메카니컬 터크를 통해 9,000개의 영화 대화를 커뮤니티 기반으로 수집하며, 작업자들이 배경 자료에서 문장을 복사하거나 수정하여 응답을 생성하도록 한다.
• 영화 줄거리, 리뷰, 댓글, 사실 테이블, 그리고 기준선을 위한 '없음'을 포함한 배경 지식을 수집한다.
• 각 발화에 대해 응답 생성에 사용된 배경 자료 내 정확한 스팬을 주석 처리한다.
• 세 가지 모델 유형을 훈련 및 평가한다: (1) 순수 시퀀스-투-시퀀스 생성, (2) 배경에서 복사 메커니즘을 통한 생성, (3) 관련 스팬을 직접 예측하는 스팬 예측 모델.
• 어느 정도 성능의 상한선을 설정하기 위해 오라클 기반 모델(GTTP)을 사용하며, 단어 오버랩 및 혼합 장/단거리 버전을 포함한다.
• BiDAF와 HRED을 기준선 모델로 사용하여 지식 기반 접근 방식과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 명시적으로 배경 지식을 활용하는 모델이 이를 忽시하는 모델보다 더 일관되고 맥락에 부합하는 응답을 생성할 수 있는가?
• RQ2 스패니시 예측 모델은 주어진 대화 턴에 가장 적절한 지식 스팬을 식별하는 데 얼마나 효과적인가?
• RQ3 순수히 발화 이력에 의존하는 것과 비교해 비정형 배경 지식을 통합할 경우 응답 품질이 얼마나 향상되는가?
• RQ4 복잡한 추론 과제(예: 캐릭터 배경 스토리)를 처리할 때, 복사 보정 대비 스팬 예측 등의 다양한 모델 아키텍처는 어떻게 비교되는가?

주요 결과

• 정확한 스팬 매칭을 사용하는 GTTP(오라클) 모델이 가장 높은 성능을 기록하여, 대화에서 지식 기반의 잠재력을 입증한다.
• 스패니시 예측 모델(GTTP)은 HRED 및 BiDAF 기반 모델보다 맥락에 부합하는 응답 생성에서 뛰어난 성능을 보이며, 특히 복잡한 추론 과제에서 유의미한 우월성을 보인다.
• 복사 보정 생성 모델은 배경 지식이 관련이 있을 경우 순수 생성 모델보다 응답의 일관성을 향상시킨다.
• 순수 생성 모델(HRED 등)은 맥락적으로 타당해 보일 수 있지만, 종종 일관성 없거나 주제에서 벗어난 응답을 생성함으로써 순수 시퀀스 학습의 한계를 드러낸다.
• 단어 오버랩에 의존하는 모델(BiDAF 등)은 캐릭터 배경 스토리처럼 표면적 매칭을 넘어서는 추론이 필요한 복잡한 질의에서는 어려움을 겪는다.
• 이 데이터셋은 Holl-E라는 이름으로 공개되었으며, 921개의 영화, 90,000개의 발화, 완전한 주석 정보를 포함하여 향후 지식 기반 대화 연구를 가능하게 한다.