[논문 리뷰] On the use of expectations for detecting and repairing human-machine miscommunication

Morena Danieli|arXiv (Cornell University)|1997. 11. 19.

Speech and dialogue systems참고 문헌 10인용 수 25

한 줄 요약

이 논문은 인간-기계 상호작용에서의 오해를 탐지하고 복구하기 위해 DIALOGOS 음성 대화 시스템에 이중 기대 메커니즘을 제안한다: 사용자 입력을 예측하기 위한 기대와 대화 흐름의 일관성을 유지하기 위한 의사소통 기반 기대를 사용한다. 이 두 가지를 조합함으로써, 사용자가 주도하는 복구를 더 잘 탐지하고, 난이도가 높은 사용자 923명을 대상으로 현장 시험에서 84%의 거래 성공률을 달성한다.

ABSTRACT

In this paper I describe how miscommunication problems are dealt with in the spoken language system DIALOGOS. The dialogue module of the system exploits dialogic expectations in a twofold way: to model what future user utterance might be about (predictions), and to account how the user's next utterance may be related to previous ones in the ongoing interaction (pragmatic-based expectations). The analysis starts from the hypothesis that the occurrence of miscommunication is concomitant with two pragmatic phenomena: the deviation of the user from the expected behaviour and the generation of a conversational implicature. A preliminary evaluation of a large amount of interactions between subjects and DIALOGOS shows that the system performance is enhanced by the uses of both predictions and pragmatic-based expectations.

연구 동기 및 목표

• 음성 대화 시스템에서 인간-기계 간 오해를 탐지하고 복구하는 데 도전하는 것.
• 사용자 행동의 기대와 다름과 대화적 암시가 오해를 어떻게 나타내는지 조사하는 것.
• 예측 기반 기대와 의사소통 기반 기대의 두 가지 유형을 통합함으로써 시스템의 내성 강도를 향상시키는 것.
• 인지적 및 대화 기반 모델링을 통해 임무 중심 음성 언어 시스템의 대화 관리 성능을 향상시키는 것.

제안 방법

• 인간-기계 상호작용에 적합하게 조정된 그라이스의 대화 원칙을 기반으로 사용자 기대를 모델링하며, 관련성, 양, 정확성 원칙 포함.
• 대화 맥락을 바탕으로 예측을 구현하여 다음 사용자 발화의 주제를 예측하는 것.
• 집중의 이동을 추적하고 대화 일관성을 유지하기 위해 계층적 맥락 구조(맥락 계층)를 사용하는 것.
• 사용자 발화가 예측과 다를 경우 및 대화적 암시를 생성할 경우 오해를 탐지하는 것.
• 의사소통 기반 기대 위반을 통해 일관성이 없음을 감지하면 수리 보조 대화를 시작하는 것.
• 예측과 의사소통 기반 기대 메커니즘을 통합한 대화 모듈을 활용하여 해석과 응답 생성을 이끄는 것.

실험 결과

연구 질문

• RQ1 예측된 사용자 행동과의 이탈은 어떻게 음성 대화 시스템에서 오해를 신호로 나타내는가?
• RQ2 사용자가 상호작용 도중 시스템 오류를 감지할 때 대화적 암시는 어떤 역할을 하는가?
• RQ3 의사소통 기반 기대는 사용자가 주도하는 복구 탐지에 어떻게 기여하는가?
• RQ4 예측과 의사소통 기반 기대를 결합할 경우 실제 음성 대화 응용 프로그램에서의 시스템 성능 향상 정도는 어느 정도인가?

주요 결과

• 예측 기반 기대와 의사소통 기반 기대를 통합함으로써 시스템의 오해 탐지 및 대응 능력이 크게 향상된다.
• 의사소통 기반 기대를 통해 대화 일관성을 추적할 경우 사용자가 주도하는 복구가 더 신뢰성 있게 탐지된다.
• DIALOGOS 시스템은 난이도가 높은 사용자 923명을 대상으로 한 현장 시험에서 84%의 거래 성공률를 달성했다.
• 사용자가 예상 행동에서 벗어나는 것을 식별하고 적절한 수리 보조 대화를 시작함으로써 인식 오류를 성공적으로 처리했다.
• 맥락 계층 모델은 발화를 적절한 이전 초점을 연결함으로써 의미 일관성을 향상시키며, 해석을 효과적으로 지원한다.
• 923개 대화의 실증 데이터는 의사소통 기반 기대가 실제 음성 대화 응용 프로그램에서의 내성 강도에 의미 있는 기여를 한다고 보여준다.