[논문 리뷰] Augmenting Non-Collaborative Dialog Systems with Explicit Semantic and Strategic Dialog History

Yiheng Zhou, Yulia Tsvetkov외 2명|arXiv (Cornell University)|2019. 09. 30.

Topic Modeling참고 문헌 30인용 수 13

한 줄 요약

이 논문은 비협력적 대화 시스템, 예를 들어 협상과 설득과 같은 전략적 전술과 의미적 의도를 명시적으로 모델링하기 위해 가중치가 부여된 유한 상태 변환기(FST)를 사용하는 것을 제안한다. 대화 액트 및 전략 시퀀스에 대해 FST를 훈련시음으로써, 엔드 투 엔드 대화 생성 및 정책 계획을 향상시키며, 두 개의 다른 도메인에서 RNN 기반 베이스라인에 비해 전략 예측 정확도와 응답 품질 측면에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

We study non-collaborative dialogs, where two agents have a conflict of interest but must strategically communicate to reach an agreement (e.g., negotiation). This setting poses new challenges for modeling dialog history because the dialog's outcome relies not only on the semantic intent, but also on tactics that convey the intent. We propose to model both semantic and tactic history using finite state transducers (FSTs). Unlike RNN, FSTs can explicitly represent dialog history through all the states traversed, facilitating interpretability of dialog structure. We train FSTs on a set of strategies and tactics used in negotiation dialogs. The trained FSTs show plausible tactic structure and can be generalized to other non-collaborative domains (e.g., persuasion). We evaluate the FSTs by incorporating them in an automated negotiating system that attempts to sell products and a persuasion system that persuades people to donate to a charity. Experiments show that explicitly modeling both semantic and tactic history is an effective way to improve both dialog policy planning and generation performance.

연구 동기 및 목표

• 비협력적 대화 시스템에서 상대방과의 목적이 충돌하지만 합의에 도달해야 하는 상황에서 의미적 의도와 전략적 전술을 동시에 모델링하는 문제를 해결하기 위해.
• 비협력적 협상과 설득 과정에서 전략적 구조를 포착하지 못하고 이전 역사 정보를 암묵적으로 인코딩하기만 하는 RNN 기반 모델의 한계를 극복하기 위해.
• 사전 훈련된 유한 상태 변환기(FST)를 사용하여 비지도 학습 방식으로 대화 역사 추적을 위한 해석 가능한 기호적 방법을 개발하기 위해.
• 명시적인 전술 및 의미적 역사 모델링이 대화 정책 계획 및 응답 생성 향상에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 제안된 FeHED 모델은 두 개의 사전 훈련된 가중치가 부여된 유한 상태 변환기(FST)를 사용한다: 하나는 대화 액트(FST-DA)에 대해, 다른 하나는 협상/설득 전략(FST-S)에 대해, 모두 비라벨링된 대화 시퀀스에 대해 훈련된다.
• 대화 액트와 전략은 전용 분류기를 통해 발화에서 추출되며, 이들이 FST에 입력되어 대화 상태의 기호적이고 해석 가능한 역사를 유지한다.
• 계층적 인코더-디코더(HED) 모델은 FST 상태 임베딩과 이전 발화를 조건으로 삼아 맥락에 적합한 응답을 생성한다.
• FST는 명시적인 상태 전이와 경로 추적을 제공하여, RNN보다 다음 행동(예: 반제안 또는 기각) 예측 능력이 뛰어나다.
• 시스템은 자동 제품 협상과 기부 기부 설득이라는 두 가지 비협력적 설정에서 평가된다.
• FST는 지도 학습에 의존하지 않고 비지도 방식으로 훈련되며, 인간이 레이블링한 믿음 스트림이나 규칙 기반 감독에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 의미적 의도와 전략적 전술을 명시적으로 모델링하면 비협력적 대화 시스템에서 대화 정책 계획 및 응답 생성 성능이 향상되는가?
• RQ2 FST 기반의 역사 추적 방식은 RNN 기반의 은닉 상태 모델링 방식에 비해 대화의 구조와 전략 시퀀스를 얼마나 잘 포착하는가?
• RQ3 FST는 협상과 설득과 같은 비협력적 도메인 간에 얼마나 잘 일반화되는가?
• RQ4 FST에서 유도된 상태 임베딩을 통합하면 대화 시스템에서 전략 예측의 해석 가능성과 정확도가 향상되는가?
• RQ5 특히 초반 단계의 대화에서, FST는 순환 모델보다 전술 역사 유지 능력이 뛰어나다고 할 수 있는가?

주요 결과

• FST 기반의 계층적 인코더-디코더(FeHED) 모델은 BLEU 및 전략 예측 정확도를 포함한 다섯 평가 지표 중 네 가지에서 모든 베이스라인 모델을 뛰어넘는 성능을 보였다.
• FeHED는 전략 예측 정확도 0.76를 달성하여, FST가 전략적 대화 구조를 효과적으로 모델링하고 있음을 입증했다.
• 정성적 분석에서 FeHED는 이전 전술('pick it up')을 정확히 인식하여 'I will deliver to you'라고 응답했고, RNN 기반 베이스라인은 전술을 간과하고 새로운 가격을 제안했다.
• FST 모델은 현재 상태에서 'propose price'에 대해 0.51의 확률을 할당하여, 조기에 수락하는 대신 반제안을 유도하는 데 기여했다.
• FST는 대화 경로와 상태를 명시적으로 추적하여, RNN보다 더 높은 해석 가능성과 더 정확한 다음 단계 예측이 가능하다.
• 모델은 협상 및 설득 작업 모두에서 우수한 성능를 보이며 다른 비협력적 도메인으로의 일반화 능력이 뛰어나다는 점이 입증되었다.