[논문 리뷰] Global-to-local Memory Pointer Networks for Task-Oriented Dialogue

Chien-Sheng Wu, Richard Socher외 1명|arXiv (Cornell University)|2019. 01. 15.

Topic Modeling참고 문헌 24인용 수 34

한 줄 요약

GLMP는 전역 기억 인코더와 로컬 기억 디코더를 도입하고 공유 외부 지식을 통해 관련 KB 데이터를 복사하여, 시뮬레이션 및 인간-대-인간 태스크 지향 대화 데이터셋에서 최첨단 성능을 달성하고 강한 OOV 처리 능력을 입증합니다.

ABSTRACT

End-to-end task-oriented dialogue is challenging since knowledge bases are usually large, dynamic and hard to incorporate into a learning framework. We propose the global-to-local memory pointer (GLMP) networks to address this issue. In our model, a global memory encoder and a local memory decoder are proposed to share external knowledge. The encoder encodes dialogue history, modifies global contextual representation, and generates a global memory pointer. The decoder first generates a sketch response with unfilled slots. Next, it passes the global memory pointer to filter the external knowledge for relevant information, then instantiates the slots via the local memory pointers. We empirically show that our model can improve copy accuracy and mitigate the common out-of-vocabulary problem. As a result, GLMP is able to improve over the previous state-of-the-art models in both simulated bAbI Dialogue dataset and human-human Stanford Multi-domain Dialogue dataset on automatic and human evaluation.

연구 동기 및 목표

• 대규모의 동적 지식 베이스를 더 잘 통합하도록 엔드투엔드 태스크 지향 대화 시스템을 동기화한다.
• 엔코더와 디코더 간에 외부 지식을 공유하는 글로벌-투-로컬 메모리 포인터 아키텍처를 제안한다.
• 대화 생성을 위한 관련 KB 정보의 복사 정확성을 개선하고 OOV 문제를 완화한다.
• 시뮬레이션(bAbI) 및 인간-대-인간(SMD) 데이터셋에서 최첨단 성능을 입증한다.
• 복사 과정을 시각화하고 메모리 포인터를 분석한다.

제안 방법

• 전역 메모리 인코더, 공유 외부 지식, 로컬 메모리 디코더의 3부분 모델을 제안한다.
• 대화 기록을 인코딩하고 히든 상태를 외부 지식에 기록하기 위해 컨텍스트 RNN을 사용한다.
• 보조 다중라벨 손실로 외부 메모리를 읽어 글로벌 메모리 포인터를 계산한다.
• 스케치 RNN을 사용해 슬롯 비어로된 응답을 생성한 뒤 외부 지식의 로컬 메모리 포인터로 슬롯을 채운다.
• 각 디코딩 단계에서 외부 지식을 질의하여 최종 응답에 객체를 복사하기 위한 로컬 메모리 포인터를 생성한다.
• 글로벌 포인터, 스케치 생성, 로컬 포인터 감독에 대한 손실로 함께 학습한다.

실험 결과

연구 질문

• RQ1 글로벌 메모리 포인터와 로컬 메모리 포인터를 결합한 것이 엔드투엔드 태스크 지향 대화에서 KB 엔티티의 복사를 향상시킬 수 있는가?
• RQ2 엔코더와 디코더 간의 외부 지식 공유가 OOV 문제를 완화하고 데이터셋 간 강건성을 향상시키는가?
• RQ3 GLMP가 시뮬레이션 및 인간-대-인간 태스크 지향 대화 설정에서 최첨단 기준선과 비교해 어떤 성능을 보이는가?

주요 결과

작업	QRN	MN	GMN	S2S+Attn	Ptr-Unk	Mem2Seq	GLMP K1	GLMP K3	GLMP K6
T1	99.4 (-)	99.9 (99.6)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)
T2	99.5 (-)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)
T3	74.8 (-)	74.9 (2.0)	74.9 (0)	74.8 (0)	85.1 (19.0)	94.7 (62.1)	96.3 (75.6)	96.0 (69.4)	96.0 (68.7)
T4	57.2 (-)	59.5 (3.0)	57.2 (0)	57.2 (0)	100 (100)	100 (100)	100 (100)	100 (100)	100 (100)
T5	99.6 (-)	96.1 (49.4)	96.3 (52.5)	98.4 (87.3)	99.4 (91.5)	97.9 (69.6)	99.2 (88.5)	99.0 (86.5)	99.2 (89.7)

• GLMP는 bAbI OOV 설정에서 응답당 정확도 최대 92.0%를 달성하며 기준선을 능가한다.
• bAbI Task 5에서 다중 홉(K=1,3,6)으로 GLMP가 높은 완료율을 달성하고 OOV 성능 하락을 감소시킨다.
• Stanford 다도메인 대화(SMD)에서 GLMP는 K=1/3/6에서 최고의 BLEU를 달성하고 엔터티 F1 및 사람 평가 점수도 우수하다.
• 글로벌 메모리 포인터나 히스토리 기록 구성요소를 제거하면 성능이 저하되어 두 요소의 기여가 확인된다.
• GLMP는 엔터티 복사 정확도와 알려지지 단어에 대한 강건성을 개선하고 Mem2Seq 및 다른 기준선을 능가한다.