[논문 리뷰] Can You be More Social? Injecting Politeness and Positivity into Task-Oriented Conversational Agents

Yi‐Chia Wang, Alexandros Papangelis외 4명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling참고 문헌 72인용 수 6

한 줄 요약

이 논문은 작업 중심 대화 보조자에 정중함과 긍정성을 주입하면서도 작업과 관련된 콘텐츠를 유지하는 데 목적이 있는 사회적 언어 이해 모듈을 통합한 시퀀스 투 시퀀스 딥 러닝 모델을 제안한다. 평가 결과, 모델은 생성된 응답의 정중함을 성공적으로 향상시켰으며, 이는 사용자 반응성과 작업 완료율 향상과 상관관계가 있었다. 그러나 긍정성 향상은 감성 분석과 인간의 긍정성 인식 간 괴리로 인해 일관되지 않은 결과를 보였다.

ABSTRACT

Goal-oriented conversational agents are becoming prevalent in our daily lives. For these systems to engage users and achieve their goals, they need to exhibit appropriate social behavior as well as provide informative replies that guide users through tasks. The first component of the research in this paper applies statistical modeling techniques to understand conversations between users and human agents for customer service. Analyses show that social language used by human agents is associated with greater users' responsiveness and task completion. The second component of the research is the construction of a conversational agent model capable of injecting social language into an agent's responses while still preserving content. The model uses a sequence-to-sequence deep learning architecture, extended with a social language understanding element. Evaluation in terms of content preservation and social language level using both human judgment and automatic linguistic measures shows that the model can generate responses that enable agents to address users' issues in a more socially appropriate way.

연구 동기 및 목표

• 인간-에이전트 간 고객 서비스 대화에서 사회적 언어가 사용자 반응성과 작업 완료에 영향을 미치는지 조사하는 것.
• 작업 중심 응답을 생성하는 딥 러닝 모델을 개발하여 정중함과 긍정성 수준을 제어하면서도 핵심 콘텐츠를 유지하는 것.
• 자동 평가 지표와 인간 평가를 통해 콘텐츠 정확성 유지 및 사회적 적절성 향상 여부를 평가하는 것.
• 자동 감성 검출과 대화 시스템에서 인간이 느끼는 긍정성 간의 괴리점을 규명하는 것.
• 사용자 경험과 참여도 향상을 위해 작업 중심 에이전트에 사회적 언어를 통합하는 프레임워크를 제공하는 것.

제안 방법

• 모델는 시퀀스 투 시퀀스 신경망 아키텍처에 사회적 언어 이해 모듈을 추가하여 생성 응답의 정중함과 긍정성 수준을 제어한다.
• 정중함과 긍정성은 이전 문헌에서 제안된 사전 학습된 기계 학습 모델을 사용하여 실제 인간 간 고객 서비스 대화를 분석하여 측정한다.
• 학습 데이터는 사회적 언어 사용에 대해 주석이 달린 리프라이드 샤링 온보딩 지원 시스템의 실제 대화로 구성된다.
• 콘텐츠 보존과 사회적 언어 주입 간 균형을 이루는 손실 함수를 사용하여, 모델은 원하는 수준의 정중함 또는 긍정성을 가진 응답을 생성하도록 피지테이닝된다.
• 인간 평가는 커스터마이징된 쇼트리징을 통해 수행되며, 평가자는 정중함과 긍정성을 척도로 평가하고, 자동 평가 지표는 콘텐츠 보존을 검증한다.
• 프레임워크는 자동 언어 측정과 인간 평가를 모두 사용하여 콘텐츠 충실도와 사회적 언어 효과성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 인간 에이전트가 작업 중심 대화에서 사회적 언어를 사용할 경우, 사용자 반응성과 작업 완료율이 증가하는가?
• RQ2 딥 러닝 모델은 콘텐츠 정확성을 유지하면서 효과적으로 정중함과 긍정성을 주입한 작업 중심 응답을 생성할 수 있는가?
• RQ3 자동 감성 분류기와 인간의 인식 간에 긍정성 측정에서 어떤 차이가 있는가?
• RQ4 정중함과 긍정성이 실제 작업 중심 대화에서 사용자 참여도에 어떤 영향을 미치는가?
• RQ5 제안된 모델은 에이전트 응답의 사회적 언어를 향상시켜 실제 고객 서비스 성과를 향상시킬 수 있는가?

주요 결과

• 인간 에이전트의 응답에서 정중함은 운전자 반응성 향상과 첫 번째 여행 완료율 증가와 유의미하게 상관관계가 있었다.
• 긍정성은 작업 완료율과는 양의 상관관계가 있었지만 반응성과는 음의 상관관계를 보였으며, 이는 사용자 행동과의 복잡한 관계를 시사한다.
• 모델은 생성된 응답의 정중함 수준을 성공적으로 향상시켰으며, 인간 평가자 중 87%가 향상된 응답이 더 정중하다고 평가했다.
• 모델은 인식된 긍정성 향상에 유의미한 영향을 주지 못했으며, 단지 13%의 평가자가 긍정성 향상 응답이 더 긍정적이라고 판단했다. 이는 감성 분석과 인간의 긍정성 인식 간 괴리가 있음을 시사한다.
• 정중함에 대해서는 중간 정도의 평가자 간 일致도를 보였지만, 긍정성에 대해서는 낮은 일치도를 보였다 (카파 = .2), 이는 대화 맥락에서 긍정성 정의와 평가에 모호성이 있음을 시사한다.
• 결과적으로 감성 기반 모델은 정중함을 효과적으로 감지할 수 있지만, 인간이 느끼는 긍정성과의 일치도가 떨어질 수 있으므로, 향후 연구에서는 더 정교한 긍정성 모델링이 필요하다.