[논문 리뷰] Scaling Multi-Domain Dialogue State Tracking via Query Reformulation

Pushpendre Rastogi, Arpit Gupta외 2명|arXiv (Cornell University)|2019. 03. 12.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 대화 맥락을 통합한 자연어 질의로 사용자 발화를 재작성하는 새로운 접근법인 문맥 기반 질의 재작성(CQR)을 제안한다. 포인터-생성기 네트워크와 다중 작업 학습을 활용하여, 어려운 장거리 참조에 대해 엔티티 F1을 20퍼센트 이상 향상시키며, 기존의 도메인별 SLU 시스템을 재학습하지 않고도 원활한 통합을 가능하게 한다.

ABSTRACT

We present a novel approach to dialogue state tracking and referring expression resolution tasks. Successful contextual understanding of multi-turn spoken dialogues requires resolving referring expressions across turns and tracking the entities relevant to the conversation across turns. Tracking conversational state is particularly challenging in a multi-domain scenario when there exist multiple spoken language understanding (SLU) sub-systems, and each SLU sub-system operates on its domain-specific meaning representation. While previous approaches have addressed the disparate schema issue by learning candidate transformations of the meaning representation, in this paper, we instead model the reference resolution as a dialogue context-aware user query reformulation task -- the dialog state is serialized to a sequence of natural language tokens representing the conversation. We develop our model for query reformulation using a pointer-generator network and a novel multi-task learning setup. In our experiments, we show a significant improvement in absolute F1 on an internal as well as a, soon to be released, public benchmark respectively.

연구 동기 및 목표

• 다양한 의미 표현 방식을 가진 다중 도메인, 다중 에이전트 대화 시스템에서 참조 표현 해석 및 대화 상태 추적 문제를 해결하기 위해.
• 이질적인 도메인 간에 에이전트를 통합할 때 수작업 스키마 정렬과 도메인별 SLU 모델의 고비용 재학습이 필요 없도록 하기 위해.
• 에이전트 간 유일한 API로 자연어를 사용하여 산업용 대화 플랫폼에서 확장성과 모oduularity를 향상시키기 위해.
• 순서 기반 재작성 기반의 대화 기록을 활용하여 대명사와 제로-언어적 참조를 정확하게 해소하기 위해.
• 기존 에이전트 아키텍처를 수정하지 않고도 질의 재작성이 후행되는 SLU 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 모델은 사용자 발화를 맥락에 기반한 자연어 질의로 재작성하는 데 포인터-생성기 네트워크(PGN)를 사용하며, 이는 의도를 유지하고 참조를 해결한다.
• 입력은 사용자 발화와 시스템 응답을 포함한 대화 턴의 시퀀스로, 도메인, 의도, 탈디지털화된 엔티티 자리표시자로 구성된 단일 토큰 시퀀스로 인코딩된다.
• 추가적인 애너테이션 데이터가 필요 없이 PGN의 주의 메커니즘을 이끌어내기 위해 다중 작업 학습 목표를 도입하여 장거리 참조 해석을 향상시킨다.
• 엔티티(예: 'Yuval Harari'에 대해 'Entity S1')에 대해 탈디지털화를 적용하여 새로운 이름에 대해 일반화하면서 슬롯 구조를 유지한다.
• 모델은 원래 발화와 의미적으로 동일하지만 이전에 언급된 엔티티를 명시적으로 포함하는 재작성된 질의를 생성하도록 훈련된다.
• 출력된 질의는 기존의 도메인별 SLU 시스템에 직접 입력되어 아키텍처 변경 없이 플러그 앤 플레이 통합이 가능하다.

실험 결과

연구 질문

• RQ1 문맥 기반 질의 재작성은 의미 표현 방식이 상이한 다중 도메인 시스템에서 대화 상태 추적 성능을 향상시킬 수 있는가?
• RQ2 다중 작업 학습을 통한 포인터-생성기 네트워크는 대화에서 장거리 참조 표현을 얼마나 효과적으로 해결하는가?
• RQ3 자연어 재작성이 독립적으로 개발된 대화 에이전트 간의 유일한 인터페이스로 기능할 수 있는 정도는 어느 정도인가?
• RQ4 질의 재작성은 수작업 스키마 정렬과 도메인별 SLU 모델 재학습의 필요성을 줄일 수 있는가?
• RQ5 이 방법은 '주소는 무엇입니까?'와 같은 제로-언어적 참조나 비대명사 참조에도 일반화될 수 있는가?

주요 결과

• 제안된 CQR 모델은 내부 테스트 데이터의 가장 도전적인 서브셋에서 엔티티 F1을 20퍼센트 이상 상승시켰으며, 특히 3턴 이상 떨어진 참조에 대해 뚜렷한 향상을 보였다.
• InCar 벤치마크에서 질의 재작성은 엔드 투 엔드 대화 모델의 성능을 향상시켜 데이터셋 간 일반화 능력을 입증했다.
• 다중 작업 학습 목표는 기존 포인터-생성기 네트워크 대비 3턴 이상 떨어진 발화에서 유래한 슬롯에서 오류를 3.2퍼센트 감소시켰다.
• 이 방법은 SLU나 DST 컴ponent를 수정하지 않고도 도메인별 에이전트를 원활하게 통합할 수 있어 모듈성과 확장성을 향상시킨다.
• 자연어 재작성을 통한 맥락 기반 지도로 제로-언어적 참조와 비대명사 참조(예: '주소는 무엇입니까?')를 효과적으로 해소할 수 있다.
• 모델의 블랙박스 성격 덕분에 기존의 어떤 SLU 시스템과도 배포가 가능하여 산업용 대화 플랫폼에서의 구현 복잡도를 감소시킨다.