[논문 리뷰] Skeleton-to-Response: Dialogue Generation Guided by Retrieval Memory

Deng Cai, Yan Wang외 5명|arXiv (Cornell University)|2018. 09. 14.

Topic Modeling참고 문헌 32인용 수 16

한 줄 요약

이 논문은 유사한 대화에서 정보적인 응답 스켈레톤을 추출한 후, 쿼리와 스켈레톤을 모두 사용하여 구체적이고 다양한 응답을 생성함으로써 개방형 대화 생성을 향상시키는 스켈레톤-응답 프레임워크를 제안한다. 이 방법은 직접적으로 검색된 응답을 복사하는 것에 대한 의존도를 줄이며, 응답의 정보성과 다양성을 크게 향상시킨다.

ABSTRACT

For dialogue response generation, traditional generative models generate responses solely from input queries. Such models rely on insufficient information for generating a specific response since a certain query could be answered in multiple ways. Consequentially, those models tend to output generic and dull responses, impeding the generation of informative utterances. Recently, researchers have attempted to fill the information gap by exploiting information retrieval techniques. When generating a response for a current query, similar dialogues retrieved from the entire training data are considered as an additional knowledge source. While this may harvest massive information, the generative models could be overwhelmed, leading to undesirable performance. In this paper, we propose a new framework which exploits retrieval results via a skeleton-then-response paradigm. At first, a skeleton is generated by revising the retrieved responses. Then, a novel generative model uses both the generated skeleton and the original query for response generation. Experimental results show that our approaches significantly improve the diversity and informativeness of the generated responses.

연구 동기 및 목표

• 부족한 컨텍스트로 인해 생성형 대화 모델이 일반적이고 정보가 부족한 응답을 생성하는 데 기인한 한계를 해결한다.
• 특히 관련성이 없을 경우에도 검색된 응답을 그대로 복사하는 경향이 있는 IR-가이드드 생성 모델의 단점을 극복한다.
• 검색된 대화에서 구조화된 응답 스켈레톤을 추출하고 활용하여 응답의 구체성과 정보성을 향상시킨다.
• 생성 모델의 일반화 능력을 유지하면서도 더 의미 있고 맥락에 부합하는 응답을 유도한다.

제안 방법

• 입력 쿼리와 유사한 이전 쿼리-응답 쌍을 검색하기 위해 정보 검색 시스템을 사용한다.
• 검색된 응답에서 불필요하거나 관련성이 없는 단어를 마스킹함으로써 응답 스켈레톤을 추출하는 스켈레톤 생성기를 훈련한다.
• 비차별 가능한 스켈레톤 생성 과정을 최적화하기 위해 사전 학습된 크기티스트를 사용한 정책 그래เดียน트 방법을 적용한다.
• 스켈레톤과 응답 생성을 동시에 훈련하기 위한 다중 작업 학습 접근법을 대안으로 활용한다.
• 입력 쿼리와 생성된 스켈레톤을 모두 응답 생성기에 입력하여 맥락에 특화된 최종 응답을 생성한다.
• 편집 거리와 재결합 유사도와 같은 기법을 적용하여 복사 정도와 쿼리-검색 유사도의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 검색된 대화에서 추출한 응답 스켈레톤이 개방형 대화 시스템에서 생성된 응답의 정보성과 구체성을 향상시키는가?
• RQ2 직접 검색 또는 엔드 투 엔드 생성 모델에 비해 스켈레톤 기반 생성 방식은 응답 품질과 다양성 측면에서 어떻게 비교되는가?
• RQ3 특히 검색 결과가 관련성이 없을 경우, 제안된 방법이 전체적으로 검색된 응답을 복사하는 경향을 어느 정도 줄이는가?
• RQ4 쿼리-검색 유사도에 따라 스켈레톤-응답 프레임워크의 성능은 어떻게 변화하는가?
• RQ5 스켈레톤 생성기가 핵심 정보를 제거하는 등의 오류를 범했을 때, 응답 생성기가 이를 효과적으로 복구할 수 있는가?

주요 결과

• 제안된 스켈레톤-응답 프레임워크는 MMI 및 EditVec와 같은 강력한 베이스라인에 비해 응답의 정보성과 다양성을 크게 향상시킨다.
• CAS 모델은 단일 검색 설정에서 인간 평가 점수 2.747을 기록하여, IR-재정렬 베이스라인과 EditVec를 능가하며, 특히 낮은 유사도 쿼리 시나리오에서 두각을 나타낸다.
• 직접 복사에 대한 의존도를 줄였다: 생성된 응답과 검색된 응답 간 편집 거리가 쿼리-검색 유사도가 낮을수록 증가하여, 적응적인 수정을 보여준다.
• 스켈레톤 생성기는 프록시 기준 기준으로 F1 점수 0.751을 기록하여 노이즈를 걸러내면서도 관련 내용을 효과적으로 추출함을 보여준다.
• 단일 검색 쌍을 사용할 경우 다중 검색 쌍을 사용하는 것보다 더 좋은 성능을 낸다. 다수의 이질적인 스켈레톤은 응답 생성기를 혼란스럽게 한다.
• 스켈레톤 생성기의 오류, 예를 들어 핵심 엔티티를 과도하게 제거하는 등의 문제를 응답 생성기가 수정할 수 있어, 생성 과정의 강건성을 입증한다.