[논문 리뷰] A dataset for resolving referring expressions in spoken dialogue via contextual query rewrites (CQR)

Michael Regan, Pushpendre Rastogi외 2명|arXiv (Cornell University)|2019. 03. 28.

Natural Language Processing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 대화 맥락을 활용하여 모호한 사용자 발화를 명확한 단일 스텝 자연어 질의로 재작성함으로써 다중 전환 작업 지향 대화에서 지시어 표현을 해결하는 새로운 접근법인 컨텍스트 기반 질의 재작성(CQR)을 소개한다. 새로 공개된 공개 데이터셋에서 이 방법은 슬롯 채우기 정확도(F1: 0.91 vs. 0.89)를 더 높게 달성하여, 명시적 상태 추적 또는 도메인 특화 NLU 업데이트 없이도 후속 NLU 성능을 향상시킬 수 있음을 보여준다.

ABSTRACT

We present Contextual Query Rewrite (CQR) a dataset for multi-domain task-oriented spoken dialogue systems that is an extension of the Stanford dialog corpus (Eric et al., 2017a). While previous approaches have addressed the issue of diverse schemas by learning candidate transformations (Naik et al., 2018), we instead model the reference resolution task as a user query reformulation task, where the dialog state is serialized into a natural language query that can be executed by the downstream spoken language understanding system. In this paper, we describe our methodology for creating the query reformulation extension to the dialog corpus, and present an initial set of experiments to establish a baseline for the CQR task. We have released the corpus to the public [1] to support further research in this area.

연구 동기 및 목표

• 다중 전환 작업 지향 대화에서 지시어 표현을 해결하는 데 도전하는 것, 특히 제로 역성어와 같은 암시적 참조를 다루는 것.
• 명시적 상태 추적기나 도메인 특화 NLU 재학습이 필요 없도록 참조 해결 문제를 질의 재작성으로 재정의함으로써 이러한 요구를 제거하는 것.
• 확장 가능한 스키마 독립적 방법을 통해 대화 시스템에서의 자연어 이해 성능을 향상시키는 것.
• 미래 연구를 지원하기 위해 골드 표준 및 커뮤니티 기반 질의 재작성 데이터를 포함한 공개 가능한 데이터셋을 제공하는 것.

제안 방법

• CQR 작업은 이전 대화 전환에서 관련 슬롯 값들을 포함하여 모호한 사용자 발화를 맥락적으로 풍부한 단일 전환 질의로 재작성한다.
• 이 방법은 대화 이력에서 관련 슬롯 값(예: 위치, 엔티티 이름)을 가져와 자연어 질의에 통합함으로써 암시적 참조를 해결한다.
• 데이터셋은 스탠포드 대화 코퍼스에 아마존 메카니컬 터크를 활용하여 골드 표준 및 커뮤니티 기반 질의 재작성 결과를 추가하여 구축되었다.
• OpenNMT 기반의 시퀀스-투-시퀀스 모델을 사용하여 재작성된 질의를 생성하도록 훈련하였으며, 정확도 향상을 위해 초모수를 최적화하였다.
• 이 접근법은 도메인 분류와 슬롯 채우기 두 가지 작업에서 평가되었으며, 원본 대화와 재작성된 질의 간 성능을 비교하였다.
• 일반화를 유지하기 위해 훈련 중 특정 엔티티를 표준 유형(예: poi_type)으로 대체하는 탈구체화 기법이 적용되었다.

실험 결과

연구 질문

• RQ1 명시적 상태 추적 없이 맥락 기반 질의 재작성은 다중 전환 청각 대화에서 지시어 표현을 효과적으로 해결할 수 있는가?
• RQ2 사용자 발화를 명확하고 단일 스텝 질의로 재작성하면 도메인 분류 및 슬롯 채우기 작업의 후속 NLU 성능이 향상되는가?
• RQ3 원본 대화와 CQR 재작성된 질의를 사용했을 때 NLU 시스템의 성능는 어떻게 비교되는가?
• RQ4 커뮤니티 기반 질의 재작성 결과는 어느 정도 일반화 가능하며, 어휘 다양성과 모델 정확도 측면에서 골드 표준 재작성 결과와 비교해 볼 때 어떤가?

주요 결과

• CQR 접근법은 골드 재작성 결과에서 슬롯 채우기 F1 스코어 0.91을 달성하여 원본 대화의 F1 0.89보다 유의미하게 향상되었다.
• 원본 및 재작성된 입력 모두에서 도메인 분류 정확도는 0.98로 높은 수준을 유지하여 재작성 과정이 의도 이해를 유지하고 있음을 시사한다.
• 골드 전용 재작성 결과로만 훈련된 모델은 개발 세트에서 F1 0.838과 BLEU 점수 0.711을 기록하여 핵심 작업에서 뛰어난 성능을 보였다.
• 골드 및 커뮤니티 기반 재작성 결과를 함께 훈련한 모델은 F1 0.897과 BLEU 점수 0.397을 기록하여, 더 높은 오류율을 보이지만 다양한 인간 생성 재작성 결과가 일반화 능력을 향상시킨다는 것을 보여주었다.
• 67%의 슬롯이 대화 이력에서 재작성 과정으로 이관되므로, 맥락적으로 관련 정보를 포괄하는 데 상당한 복잡성이 있음을 나타내며, 이는 작업이 비트리비얼하다는 것을 의미한다.
• 결과는 질의 재작성으로 다중 전환의 모호성을 단일 전환의 명확성으로 전환시켜 NLU를 단순화시키며, 최소한의 아키텍처 변경으로도 더 높은 정확도를 달성할 수 있음을 시사한다.