[논문 리뷰] Disentangling Language and Knowledge in Task-Oriented Dialogs

Dinesh Raghu, Nikhil Gupta외 1명|arXiv (Cornell University)|2018. 05. 03.

Topic Modeling참고 문헌 21인용 수 4

한 줄 요약

이 논문은 작업 지향 대화 시스템에서 언어 모델링과 지식 기반 설정을 분리하는 데 목적이 있는 Bag-of-Sequences (BoSs) 메모리 구조를 갖춘 새로운 인코더-디코더 아키텍처인 BoSsNet을 제안한다. 대화 기록과 지식 기반(KB) 튜플을 백에 저장된 메모리 구조 내에서 시퀀스로 인코딩하고 복사 보정 손실을 도입함으로써, 특히 OOV(Out-of-Vocabulary) 조건에서 최신 기술 성능을 달성하며, bAbI OOV 테스트 세트에서 10% 이상의 절대적 성능 향상을 보이고, KB 수정에 대해서도 높은 강건성을 확보한다.

ABSTRACT

The Knowledge Base (KB) used for real-world applications, such as booking a movie or restaurant reservation, keeps changing over time. End-to-end neural networks trained for these task-oriented dialogs are expected to be immune to any changes in the KB. However, existing approaches breakdown when asked to handle such changes. We propose an encoder-decoder architecture (BoSsNet) with a novel Bag-of-Sequences (BoSs) memory, which facilitates the disentangled learning of the response's language model and its knowledge incorporation. Consequently, the KB can be modified with new knowledge without a drop in interpretability. We find that BoSsNet outperforms state-of-the-art models, with considerable improvements (> 10\%) on bAbI OOV test sets and other human-human datasets. We also systematically modify existing datasets to measure disentanglement and show BoSsNet to be robust to KB modifications.

연구 동기 및 목표

• 지식 기반(KB)이 시간이 지남에 따라 새로운 엔티티나 업데이트된 정보를 포함하게 되는 경우에도 성능 유지 문제를 해결하기 위해.
• 언어 모델을 지식 통합 메커니즘에서 분리하여, 재학습 없이도 새로운 KB 엔티티에 일반화할 수 있도록 하기 위해.
• 동적 KB를 가진 실제 데이터셋과 OOV 테스트 세트에서의 성능 및 강건성 향상을 위해.
• 모델의 KB 수정에 대한 내성 강도를 측정하기 위한 체계적 평가 프레임워크인 지식 적응성(Knowledge Adaptability, KA)을 개발하기 위해.
• 분리 학습이 더 해석 가능하고 문법적으로 올바르며 정보가 풍부한 대화 응답을 생성한다는 것을 입증하기 위해.

제안 방법

• BoSsNet은 이중 수준의 메모리 표현을 사용한다: 대화 기록과 KB 튜플을 모두 저장하는 평탄한 백-오브-시퀀스(BoSs) 메모리로, 각 발화나 튜플 내의 순서적 맥락을 유지한다.
• 각 발화와 KB 튜플은 양방향 GRU(Bi-GRU)를 통해 인코딩되어 개별 토큰의 맥락적 이해를 가능하게 하면서도 순서 수준의 구조를 유지한다.
• 인코더는 대화와 KB에서 관련 부분을 참조하기 위해 오직 메모리 셀 표현만을 사용하여 지식 기반에 대한 효과적인 추론을 가능하게 한다.
• 디코더는 복사 보정 시퀀스-투-시퀀스 아키텍처를 사용하여 단어 단위로 응답을 생성하며, 새로운 손실 함수를 도입하여 언어 모델에서 생성하는 것보다 KB 토큰을 복사하도록 유도한다.
• 추가로, 비복사 생성을 방지하기 위한 정규화를 통해 언어 모델과 지식 구성 요소 간의 분리를 강화하는 손실 항목을 도입한다.
• 학습 중 레이블 드롭아웃을 적용하여 언어 모델을 지식 인터페이스에서 더 잘 분리시켜, 새로운 엔티티에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 중에 볼 수 없었던 완전히 새로운 엔티티를 포함한 지식 기반(KB)이 존재할 경우, 작업 지향 대화 시스템이 높은 성능을 유지할 수 있는가?
• RQ2 언어 모델을 지식 기반 설정 메커니즘에서 분리하면 KB 수정에 대한 강건성이 향상되는가?
• RQ3 제안된 BoSs 메모리 구조는 맥락 정보를 얼마나 잘 유지하면서도, 새로운 KB 엔티티의 효과적인 복사를 가능하게 하는가?
• RQ4 분리 정규화를 적용한 복사 보정 손실은 기존의 표준 시퀀스-투-시퀀스 모델 대비 OOV 벤치마크에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 인간 평가에서 BoSsNet이 생성한 응답은 기존 베이스라인 모델 대비 문법적으로 더 정확하고 더 정보가 풍부한가?

주요 결과

• bAbI OOV 테스트 세트에서 BoSsNet은 최신 기술 모델 대비 10.2%의 절대적 성능 향상을 기록하여, 새로운 엔티티에 대한 강력한 일반화 능력을 입증한다.
• CamRest 데이터셋에서 BoSsNet은 테스트 시 100%의 KB 엔티티가 학습 중에 보이지 않은 상황에서도 높은 성능을 유지하며, 지식 적응성(KA) 평가에서 베이스라인을 압도한다.
• 인간 평가 결과, BoSsNet의 응답은 Seq2Seq, Mem2Seq, Seq2Seq+Copy 대비 더 정보가 풍부하고 약간 더 문법적으로 정확한 것으로 평가되었다.
• 모델는 KB 수정 수준이 0%에서 100%로 증가함에 따라 성능 저하가 최소한으로 유지되어 모든 수준의 KB 수정에 대해 강건한 성능을 보였다.
• 지식 적응성(KA) 평가 프로토콜을 도입함으로써, BoSsNet이 기존 모델보다 훨씬 더 KB 변경에 강건함을 입증하였다.
• CamRest 및 Stanford Multi-Domain을 포함한 여러 실제 데이터셋에서 모델의 성능은 안정적이고 일관되며, 일반화 능력을 확인한다.