[논문 리뷰] CoCo: Controllable Counterfactuals for Evaluating Dialogue State Trackers

Shiyang Li, Semih Yavuz외 7명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 43인용 수 41

한 줄 요약

CoCo는 DST 모델을 스트레스 테스트하기 위한 제어 가능한 반사실 대화를 생성하고, 보류된 정확도(out-of-sample) 너머의 상당한 일반화 격차를 드러내며, 동시에 강력한 데이터 증강을 가능하게 한다.

ABSTRACT

Dialogue state trackers have made significant progress on benchmark datasets, but their generalization capability to novel and realistic scenarios beyond the held-out conversations is less understood. We propose controllable counterfactuals (CoCo) to bridge this gap and evaluate dialogue state tracking (DST) models on novel scenarios, i.e., would the system successfully tackle the request if the user responded differently but still consistently with the dialogue flow? CoCo leverages turn-level belief states as counterfactual conditionals to produce novel conversation scenarios in two steps: (i) counterfactual goal generation at turn-level by dropping and adding slots followed by replacing slot values, (ii) counterfactual conversation generation that is conditioned on (i) and consistent with the dialogue flow. Evaluating state-of-the-art DST models on MultiWOZ dataset with CoCo-generated counterfactuals results in a significant performance drop of up to 30.8% (from 49.4% to 18.6%) in absolute joint goal accuracy. In comparison, widely used techniques like paraphrasing only affect the accuracy by at most 2%. Human evaluations show that COCO-generated conversations perfectly reflect the underlying user goal with more than 95% accuracy and are as human-like as the original conversations, further strengthening its reliability and promise to be adopted as part of the robustness evaluation of DST models.

연구 동기 및 목표

• 최신 DST 모델이 보류된 MultiWOZ 테스트 세트를 넘어 새로운 현실적 대화 시나리오에 얼마나 잘 일반화하는지 평가한다.
• 변형된 반사실 턴-수준 신념 상태와 대응 대화를 생성하기 위한 모델 비의존적 프레임워크를 도입한다.
• 여러 모델에 걸친 DST 성능에 대한 반사실의 영향을 평가한다.
• 반사실 데이터 증강이 강건성 및 원래 작업 성능을 향상시키는지 탐구한다.

제안 방법

• DST를 턴-수준과 대화-수준 신념 상태 추적 문제로 표현한다.
• 턴-수준 신념 상태에 슬롯-값을 삭제, 변경 또는 추가하여 반사실 목표를 생성한다.
• 수정된 신념 상태를 조건으로 반사실 사용자 발화를 생성하기 위해 사전 학습된 인코더-디코더 모델을 사용한다.
• 생성된 발화가 반사실 목표를 반영하도록 두 가지 필터링 메커니즘을 적용한다: 슬롯-값 일치 필터와 분류기 기반 필터.
• Value Substitution(VS)을 특별한 CoCo 케이스로 도입하고 필요 시 VS를 폴백으로 사용하는 CoCo+ 변형을 도입한다.
• 최대 우도(MLE)와 추론을 위한 빔 검색으로 목표-조건부 발화 생성기 p_theta(U_usr_t | U_sys_t, L_t)을 학습한다.

실험 결과

연구 질문

• RQ1 최신 DST 모델이 CoCo가 생성한 반사실 대화에서 평가될 때 어떻게 성능을 보이나요?
• RQ2 보지 못한 슬롯 값과 희귀한 슬롯 조합이 DST 모델의 일반화에 얼마나 영향을 미치나요?
• RQ3 CoCo 기반 데이터 증강이 DST 모델의 강건성 및/또는 원래 작업 성능을 향상시킬 수 있나요?

주요 결과

• DST 모델은 CoCo 및 CoCo+-생성 반사실 대화에서 합동 목표 정확도가 원래의 MultiWOZ 테스트 세트에 비해 최대 30.8포인트나 큰 감소를 경험한다.
• 역번역을 통한 의역은 성능에 약간만 영향을 주며, 감소 폭은 최대 2%이다.
• 보이지 않는 도메인 내외의 슬롯 값은 상당한 정확도 저하를 유발하며(각각 최대 11.8% 및 약 10% 추가 하락).
• CoCo+ 희귀-희귀 슬롯 조합은 가장 큰 일반화 격차를 유발하며, Trade와 같은 모델의 정확도가 49.4%에서 18.6%로 떨어진다.
• 사람에 의한 평가에서 CoCo로 생성된 대화는 사용자 목표에 매우 충실하고(>95% 정확도) 원본에 비해 인간에 가깝다; CoCo-ori는 종종 원래 턴-수준 신념 상태 정확도와 일치하거나 약간 더 높다.
• CoCo+ 희귀 구성으로 데이터 증강은 모델 간 강건성을 개선하고 일부 모델(예: TripPy)의 원래 테스트 세트 성능을 높일 수 있다.