[논문 리뷰] Resolving Intent Ambiguities by Retrieving Discriminative Clarifying Questions

Kaustubh Dhole|arXiv (Cornell University)|2020. 08. 17.

Speech and dialogue systems인용 수 5

한 줄 요약

이 논문은 문장 수준의 질문 생성기와 유사도 기반 선택 메커니즘을 사용하여 의도 모호성을 해결하기 위한 규칙 기반 방법을 제안한다. 이 방법은 애초에 명시된 명확화 데이터가 필요로 하지 않으며, 의도 분류 정확도를 3–4% 향상시켜 더 자연스럽고 상호작용적인 사용자 상호작용을 가능하게 한다.

ABSTRACT

Task oriented Dialogue Systems generally employ intent detection systems in order to map user queries to a set of pre-defined intents. However, user queries appearing in natural language can be easily ambiguous and hence such a direct mapping might not be straightforward harming intent detection and eventually the overall performance of a dialogue system. Moreover, acquiring domain-specific clarification questions is costly. In order to disambiguate queries which are ambiguous between two intents, we propose a novel method of generating discriminative questions using a simple rule based system which can take advantage of any question generation system without requiring annotated data of clarification questions. Our approach aims at discrimination between two intents but can be easily extended to clarification over multiple intents. Seeking clarification from the user to classify user intents not only helps understand the user intent effectively, but also reduces the roboticity of the conversation and makes the interaction considerably natural.

연구 동기 및 목표

• 사용자 쿼리가 사전 정의된 의도로 직접 매핑되지 않는 작업 지향 대화 시스템에서의 의도 모호성 문제를 해결하기 위해.
• 도메인 특화의 명확화 질문을 수동으로 생성하는 데 드는 비용을 줄이기 위해 이를 자동화하기 위해.
• 사용자 상호작용을 통해 최상위 1개의 분류 문제를 최상위 k개의 문제로 전환시켜 의도 분류 정확도를 향상시키기 위해.
• 엄격한 의도 매칭 대신 상호작용 가능한 명확화를 통합함으로써 대화의 자연스러움을 향상시키기 위해.
• 기존 의도 분류기와 분리된 명확화 생성 로직을 통해 생산 환경에 쉽게 구현할 수 있도록 하기 위해.

제안 방법

• 의도 모호성이 있는 쿼리에 대해 상위 2개의 의도 확률을 예측하기 위해 BiLSTM 및 선형 SVM 분류기를 훈련한다.
• 신뢰도 점수를 기반으로 한 임계값 기반의 모호성 탐지 메커니즘을 사용하여 모호한 케이스를 식별한다.
• 상위 2개의 예측된 의도 간의 신뢰도 간격을 개선하고 거짓 긍정을 줄이기 위해 소프트맥스 校정을 적용한다.
• 기존의 문장에서 질문으로 변환하는(QG) 모델을 사용하여 후보 명확화 질문을 생성한다.
• 의도 모호성이 있는 쿼리와 각 후보 질문 간의 문장 유사도 측정을 통해 가장 구분력 있는 질문을 선택한다.
• 특히 일반 동사나 낮은 커버리지의 어휘에 대해 QG의 커버리지가 부족할 경우 규칙 기반 템플릿 시스템을 사용하여 질문을 보완한다.

실험 결과

연구 질문

• RQ1 애초에 명시된 명확화 데이터가 없이도 규칙 기반 시스템이 효과적으로 구분 가능한 명확화 질문을 생성할 수 있는가?
• RQ2 명확화 질문을 생성하는 것이 모호한 경우의 의도 분류 성능에 얼마나 기여하는가?
• RQ3 신뢰도 校정이 의도 분류에서 모호성 탐지의 신뢰성에 어떤 영향을 미치는가?
• RQ4 QG와 템플릿 기반 방법을 조합했을 때 생성된 명확화 질문의 커버리지와 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 통합 오버헤드를 최소화하면서도 생산 환경에 구현 가능한가?

주요 결과

• 소프트맥스 校정은 상위 2개의 의도 예측 간의 신뢰도 간격을 크게 향상시켜 모호성 탐지에서 거짓 긍정을 줄였다.
• 의도 분류 정확도가 BiLSTM 기반으로 약 4% 향상되었고, 선형 SVM 기반으로는 약 3% 향상되었으며, 이는 명확화 기반의 모호성 해소 덕분이었다.
• MTurk 평가 결과 생성된 질문은 5점 척도에서 문법성 점수 3.84와 관련성 점수 4.17를 기록하여 SynQG 벤치마크의 성능에 근접했다.
• 순수 QG 기반 질문 생성은 공통 동사나 부족한 질문 쌍으로 인해 커버리지가 오직 34%에 그쳐, 템플릿 보완의 필요성을 드러냈다.
• 기존의 의도 분류기와 분리된 명확화 로직을 통해 의도 탐지 파이프라인에 영향을 주지 않으면서도 생산 환경에 쉽게 배포할 수 있다.