[논문 리뷰] Discourse Coherence, Reference Grounding and Goal Oriented Dialogue

Baber Khalid, Malihe Alikhani외 3명|arXiv (Cornell University)|2020. 07. 08.

Speech and dialogue systems참고 문헌 35인용 수 4

한 줄 요약

이 논문은 계획 인식에 의존하지 않고 논의 구조와 약속 지식 그래프를 사용하여 혼합 주도성 참조 의사소통을 위한 일관성 기반 대화 시스템을 제안한다. 강화 학습을 통해 명확화 및 선택 전략을 최적화함으로써 인간-로봇 상호작용에서 더 높은 내구성과 융통성 향상을 달성하였으며, 결과적으로 높은 신뢰도 수준에서 명확화 요청이 66.7% 증가하는 것으로 나타났다. 이는 더 높은 불확실성 임계값으로 훈련한 경우의 성과이다.

ABSTRACT

Prior approaches to realizing mixed-initiative human--computer referential communication have adopted information-state or collaborative problem-solving approaches. In this paper, we argue for a new approach, inspired by coherence-based models of discourse such as SDRT \cite{asher-lascarides:2003a}, in which utterances attach to an evolving discourse structure and the associated knowledge graph of speaker commitments serves as an interface to real-world reasoning and conversational strategy. As first steps towards implementing the approach, we describe a simple dialogue system in a referential communication domain that accumulates constraints across discourse, interprets them using a learned probabilistic model, and plans clarification using reinforcement learning.

연구 동기 및 목표

• 명시적 계획 인식에 의존하지 않는 확장 가능한, 일관성 기반의 혼합 주도성 대화 프레임워크를 개발하는 것.
• SDRT 유사 일관성 관계를 활용해 약속의 진전 구조로 논의를 모델링함으로써 발화의 통합적 해석을 가능하게 하는 것.
• 확률적 의미 해석과 강화 학습을 통합하여 적응형 명확화 및 선택 전략을 구현하는 것.
• 크라우드소싱을 통해 인간 참가자를 대상으로 한 참조 의사소통 작업을 통해 시스템 성능을 평가하는 것.
• 자기지도 학습 및 강화 학습 방법론이 융통성 있고 목표 지향적인 대화 시스템 구축 잠재력을 탐색하는 것.

제안 방법

• 시스템은 SDRT 기반의 논의 표현 구조를 사용하며, 발화는 진전되는 약속과 일관성 관계의 그래프에 연결된다.
• 의미 해석은 발화를 시각적 참조 대상에 대한 제약로 매핑하는 학습된 확률 모델을 통해 수행된다.
• 강화 학습 에이전트는 참조 대상 식별에 대한 신뢰도에 기반해 선택 또는 명확화 요청 전략을 학습한다.
• 정책은 CIC 데이터셋에서 유도된 시뮬레이션된 인간 상호작용을 사용하여 훈련되며, 명확화와 선택 간 균형을 맞추기 위해 보상 구조가 설계된다.
• 시스템은 신뢰도 임계값(예: P_x = 0.4 대비 0.7)에 따라 동적으로 행동을 조정하여 명확화와 선택 간의 트레이드오프를 제어한다.
• 화자 약속의 지식 그래프를 유지하고 턴 간 업데이트함으로써 상호 이해와 목표 진전에 대한 추론이 가능해진다.

실험 결과

연구 질문

• RQ1 SDRT 유사 구조로 모델링된 논의 일관성은 계획 기반 모델의 대체로 확장 가능한가?
• RQ2 학습된 확률 모델은 어떻게 맥락에서 발화를 해석하여 참조 대상에 대한 제약를 생성하는가?
• RQ3 강화 학습이 참조 의사소통에서 명확화 및 선택 전략을 얼마나 효과적으로 최적화할 수 있는가?
• RQ4 신뢰도 임계값(P_x)을 변화시킬 경우 시스템의 명확화와 선택 간 균형에 어떤 영향을 미치는가?
• RQ5 일관성 기반 아키텍처는 시스템이 지휘자 또는 매칭자 역할을 할 수 있는 혼합 주도성 대화를 지원할 수 있는가?

주요 결과

• 더 높은 신뢰도 임계값(P_x = 0.7)으로 훈련된 모델은 신뢰도가 ≥0.8일 때 명확화 요청을 66.7% 더 많이 요청하여, 명확화 행동에 대한 효과적인 제어를 입증했다.
• 높은 신뢰도 수준에서 P_x = 0.7 모델은 P_x = 0.4 모델보다 색상 패치를 5.5% 덜 선택하여 명확화와 선택 간의 의도적인 트레이드오프를 확인했다.
• 시스템은 참조 의사소통 작업에서 자연스러운 인간 대화 패턴을 성공적으로 포착하였으며, 명확화를 통한 협력과 점진적 참조를 포함한다.
• 강화 학습을 통해 대화 액트나 전이를 명시적으로 모델링하지 않더라도 적응형 전략을 학습할 수 있었다.
• 일관성 있는 논의 구조를 통해 지시적 참조 및 협의 상태(완전 협의, 부분 협의, 불일치)를 지원할 수 있었다.
• 크라우드 워커로부터의 초도 결과는 시스템이 실제 대화 상황에서 융통성 있고 내구성 있으며 목표 지향적인 상호작용을 지원할 수 있음을 시사한다.