[논문 리뷰] Entity-Consistent End-to-end Task-Oriented Dialogue System with KB Retriever

Libo Qin, Yijia Liu외 4명|arXiv (Cornell University)|2019. 09. 15.

Topic Modeling참고 문헌 25인용 수 7

한 줄 요약

이 논문은 엔티티 일관성을 향상시키기 위해 엔드 투 엔드 작업 지향 대화 시스템을 위한 이중 단계 KB 검색 프레임워크를 제안한다. 메모리 네트워크를 사용해 대화 이력 기반으로 가장 관련성이 높은 KB 행을 먼저 검색한 후, 가장 관련성이 높은 KB 열에 주의를 기울여 응답 생성 중 부적절한 엔티티를 필터링함으로써, 갈등이 발생하는 엔티티 생성을 크게 감소시킨다. 이 방법은 자동 평가와 인간 평가 모두에서 베이스라인을 능가하며, 특히 정확성과 일관성에서 뛰어난 성능을 보인다.

ABSTRACT

Querying the knowledge base (KB) has long been a challenge in the end-to-end task-oriented dialogue system. Previous sequence-to-sequence (Seq2Seq) dialogue generation work treats the KB query as an attention over the entire KB, without the guarantee that the generated entities are consistent with each other. In this paper, we propose a novel framework which queries the KB in two steps to improve the consistency of generated entities. In the first step, inspired by the observation that a response can usually be supported by a single KB row, we introduce a KB retrieval component which explicitly returns the most relevant KB row given a dialogue history. The retrieval result is further used to filter the irrelevant entities in a Seq2Seq response generation model to improve the consistency among the output entities. In the second step, we further perform the attention mechanism to address the most correlated KB column. Two methods are proposed to make the training feasible without labeled retrieval data, which include distant supervision and Gumbel-Softmax technique. Experiments on two publicly available task oriented dialog datasets show the effectiveness of our model by outperforming the baseline systems and producing entity-consistent responses.

연구 동기 및 목표

• 전체 KB에 대한 어텐션을 사용하는 엔드 투 엔드 작업 지향 대화 시스템에서 엔티티 일관성의 부족을 해결하기 위해.
• 대화 이력 기반으로 가장 관련성이 높은 KB 행을 명시적으로 검색하여 응답 생성을 향상시키기 위해.
• 응답 생성 중에 검색된 행을 사용해 관련이 없는 KB 엔티티를 필터링하여 엔티티 일관성을 향상시키기 위해.
• 라벨이 부여된 검색 데이터가 없이도 KB 리트리버를 훈련시킬 수 있도록 원거리 감독과 Gumbel-Softmax를 사용하기 위해.
• 대부분의 응답이 단일 KB 행으로 지원될 수 있음을 검증함으로써 이중 단계 검색 접근법의 타당성을 입증하기 위해.

제안 방법

• 대화 이력 기반으로 가장 관련성이 높은 KB 행을 선택하기 위해 메모리 네트워크를 사용하는 KB 리트리버 모듈을 도입한다.
• 검색된 KB 행을 사용해 시퀀스 투 시퀀스 응답 생성 모델에서 관련이 없는 엔티티를 필터링함으로써 엔티티 일관성을 향상시킨다.
• 엔티티 생성을 위해 가장 관련성이 높은 KB 열을 선택하기 위해 열 수준의 어텐션 메커니즘을 적용한다.
• 약한 레이블이 부여된 검색 훈련 데이터를 생성하기 위해 히우리스틱을 사용한 원거리 감독을 적용한다.
• 리트리버의 비미분 가능 선택 과정을 미분 가능하게 근사하기 위해 Gumbel-Softmax를 활용한다.
• 검색된 KB 행과 열에서 직접 엔티티를 생성하기 위해 복사 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 이중 단계 KB 검색 프로세스는 엔드 투 엔드 작업 지향 대화 시스템에서 엔티티 일관성을 향상시킬 수 있는가?
• RQ2 대부분의 대화 응답이 단일 KB 행에 의해 지원된다는 가정은 타당한가?
• RQ3 수동으로 레이블이 부여된 검색 레이블이 없이도 KB 리트리버를 효과적으로 훈련시킬 수 있는가?
• RQ4 검색된 KB 행을 사용해 관련이 없는 엔티티를 필터링하면 더 나은 응답 일관성과 정확도를 달성할 수 있는가?
• RQ5 원거리 감독과 Gumbel-Softmax는 KB 리트리버 훈련에서 어떻게 비교되는가?

주요 결과

• 제안된 프레임워크는 자동 평가와 인간 평가 모두에서 베이스라인 모델을 능가하며, Gumbel-Softmax를 사용한 InCar 데이터셋에서 72.1%의 일관성 점수를 기록했다.
• 인간 평가 결과, 정확성(4.64/5)과 유창성(4.73/5)에서 베이스라인 대비 뚜렷한 향상을 보였다.
• 데이터셋의 80% 이상의 응답이 단일 KB 행으로 지원될 수 있으며, 이는 본 방법의 핵심 가정을 검증한다.
• Gumbel-Softmax로 훈련된 KB 리트리버는 원거리 감독 베이스라인 대비 더 높은 성능을 기록했다.
• 시각화 결과, 엔티티 200_Alester_Ave를 생성할 때 모델이 올바른 KB 행(4번째 행)과 열(1번째 열)에 정확히 주의를 기울인 것으로 확인되었다.