[논문 리뷰] Finding Dominant User Utterances And System Responses in Conversations

Dhiraj Madan, Sachindra Joshi|arXiv (Cornell University)|2017. 10. 29.

Speech and dialogue systems참고 문헌 20인용 수 3

한 줄 요약

이 논문은 사용자 및 시스템 발화를 동시에 군집하면서 인접성 정보를 활용하여 의도 및 응답 그룹화를 향상시키는 새로운 K-means 확장인 SimCluster를 제안한다. 보상 기반 목적 함수를 통해 군집을 정렬함으로써 표준 K-means 대비 최대 10%p의 F1 점수 향상을 달성하며, 실제 및 합성 대화 데이터에서 군집 품질을 크게 향상시킨다.

ABSTRACT

There are several dialog frameworks which allow manual specification of intents and rule based dialog flow. The rule based framework provides good control to dialog designers at the expense of being more time consuming and laborious. The job of a dialog designer can be reduced if we could identify pairs of user intents and corresponding responses automatically from prior conversations between users and agents. In this paper we propose an approach to find these frequent user utterances (which serve as examples for intents) and corresponding agent responses. We propose a novel SimCluster algorithm that extends standard K-means algorithm to simultaneously cluster user utterances and agent utterances by taking their adjacency information into account. The method also aligns these clusters to provide pairs of intents and response groups. We compare our results with those produced by using simple Kmeans clustering on a real dataset and observe upto 10% absolute improvement in F1-scores. Through our experiments on synthetic dataset, we show that our algorithm gains more advantage over K-means algorithm when the data has large variance.

연구 동기 및 목표

• 이전 대화에서 빈번한 사용자 의도와 해당 시스템 응답을 자동으로 식별하여 대화 시스템 설계의 수동 작업을 줄이기 위해.
• 고립적으로 다루는 것 대신 사용자 및 에이전트 발화 간의 인접성 관계를 함께 모델링하여 사용자 및 에이전트 발화 군집 정확도를 향상시키기 위해.
• 사용자 의도 군집과 시스템 응답 군집 간의 정렬을 통해 대화 흐름 생성을 지원하는 방법을 개발하기 위해.
• 실제 대화 데이터 및 고분산 특성을 가진 합성 데이터에 대해 인접성 인식 군집의 효과성을 평가하기 위해.

제안 방법

• 사용자 및 에이전트 발화 군집 간의 정렬을 유도하기 위해 목적 함수에 보상 항을 추가한 K-means의 확장.
• 이중 매칭을 사용하여 초기 사용자 및 에이전트 군집 간 최적의 정렬을 찾고, 군집 간 거리를 최소화함.
• 한 도메인 내 유사도가 다른 도메인의 군집에 영향을 주는 이중 군집 프로세스를 도입하며, 공유된 정렬 제약 조건을 통해 상호 영향을 미침.
• 문서 벡터 표현을 생성하기 위해 Doc2Vec과 시퀀스-투-시퀀스(Sequence-to-Sequence, Seq2Seq) 모델을 모두 활용하며, 후자는 인접성 컨텍스트를 인코딩함.
• 중심점 초기화에 D² 샘플링을 적용하고, 검증 세트에서 하이퍼파라미터 α를 튜닝하여 군집화와 정렬 간 균형을 확보함.
• K-means를 5회 반복한 후 SimCluster를 30회 반복하여 군집 할당을 정밀하게 개선함.

실험 결과

연구 질문

• RQ1 사용자 및 시스템 발화를 인접성 정보를 기반으로 함께 군집화하면 고립된 군집화 방식보다 사용자 의도와 시스템 응답을 더 잘 식별할 수 있는가?
• RQ2 실제 대화 데이터에 적용했을 때 SimCluster는 표준 K-means에 비해 F1 점수와 ARI 점수에서 어떻게 비교되는가?
• RQ3 특히 사용자 발화 도메인에서 고분산 데이터에 대해 SimCluster는 K-means에 비해 더 큰 향상을 보이는가?
• RQ4 Seq2Seq 모델을 통해 응답 컨텍스트를 통합함으로써 Doc2Vec에 비해 군집을 위한 벡터 표현 향상 정도는 어느 정도인가?

주요 결과

• 실제 티커 기반 대화 데이터에서 SimCluster는 표준 K-means 대비 최대 10%p의 F1 점수 향상을 기록하며, Doc2Vec 벡터를 사용한 경우 사용자 도메인에서 0.093, 에이전트 도메인에서 0.087의 향상을 기록함.
• Seq2Seq 기반의 벡터 표현을 사용할 경우, SimCluster는 사용자 발화의 F1 점수를 0.83에서 0.86으로, 에이전트 발화의 F1 점수를 0.90에서 0.916으로 향상시킴.
• Seq2Seq 표현보다 Doc2Vec 표현에서 더 큰 향상을 보이며, 이는 후자가 이미 일부 인접성 정보를 인코딩하고 있기 때문임.
• 사용자 발화 군집화는 에이전트 발화의 맥락을 통합함으로써 더 큰 이점을 얻으며, 이는 사용자 표현의 변동성이 더 크고 에이전트 응답의 패턴이 더 일반적이기 때문임.
• 정성적 분석 결과 SimCluster는 의미적으로 유사한 발화—예를 들어 'I can't open email'과 'Email not opening'—을 같은 군집에 올바르게 묶는 반면, K-means는 이를 분리함을 확인함.
• 고분산 특성을 가진 합성 데이터에서 SimCluster는 K-means보다 더 뚜렷한 성능 향상을 보이며, 도전적인 군집화 상황에서의 장점을 확인함.