[논문 리뷰] Seamlessly Integrating Factual Information and Social Content with Persuasive Dialogue

Maximillian Chen, Weiyan Shi외 5명|arXiv (Cornell University)|2022. 03. 15.

Speech and dialogue systems인용 수 5

한 줄 요약

이 논문은 대화 행위 분류와 미세 조정된 흐름 기반의 조정 생성을 활용하여 설득 대화에서 사실 정보와 사회적 반응을 원활하게 통합하는 모odular 대화 시스템인 Response-Agenda Pushing (RAP) 프레임워크를 제안한다. RAP는 모든 평가 차원에서 강력한 엔드 투 엔드 모델(BART)을 능가했으며, 사회 과학 이론에 기반한 명시적 사회적 및 임무 중심 통합을 통해 더 높은 일관성과 설득력을 보였다.

ABSTRACT

Complex conversation settings such as persuasion involve communicating changes in attitude or behavior, so users' perspectives need to be addressed, even when not directly related to the topic. In this work, we contribute a novel modular dialogue system framework that seamlessly integrates factual information and social content into persuasive dialogue. Our framework is generalizable to any dialogue tasks that have mixed social and task contents. We conducted a study that compared user evaluations of our framework versus a baseline end-to-end generation model. We found our framework was evaluated more favorably in all dimensions including competence and friendliness, compared to the end-to-end model which does not explicitly handle social content or factual questions.

연구 동기 및 목표

• 엔드 투 엔드 모델에서 자주 별도로 다루거나 忽시되는 사실 정보와 사회적 콘텐츠를 설득 대화 시스템에 통합하는 문제를 해결하기 위해.
• 한 개의 일관된 대화 흐름 안에서 임무 중심 목표(예: 질문에 대한 답변)와 사회적 목표(예: 유대감 형성)를 모두 지원하는 일반화 가능한 프레임워크를 개발하기 위해.
• 그라이스의 원칙과 정서적 참여 전략과 같은 사회 과학 원리에 근거해 응답을 설계하여 설득 대화의 사용자 경험을 향상시키기 위해.
• 대화 행위를 조건으로 삼아 조정 생성을 통해 설득 전략(예: 정서적 호소, 신뢰성 호소)에 대한 미세 조절을 가능하게 하기 위해.
• PersuasionForGood 데이터셋을 활용해 인간 평가를 통해 프레임워크를 실증적으로 평가하고, RAP를 강력한 엔드 투 엔드 기준 모델과 비교하기 위해.

제안 방법

• RAP는 세 가지 핵심 구성 요소로 이루어진 모odular 아키텍처를 사용한다: 사회적 반응 모듈, 사실 응답 모듈, 목적지 밀어내기 모듈.
• 사회적 반응 모듈은 사전 훈련된 언어 모델을 zero-shot 미세 조정하여 공감적이고 맥락에 적절한 반응을 생성한다.
• 사실 응답 모듈은 문장 임베딩 기반 유사도로 훈련 데이터를 군집화하여 정보를 검색하고 생성한다.
• 목적지 밀어내기 모듈은 대화 행위(예: '정서적 호소', '신뢰성 호소')를 조건으로 삼아 대규모 언어 모델을 사용해 설득적인 반응을 생성한다.
• 디스패처 모듈은 감지된 대화 행위에 따라 사용자 발언을 적절한 모듈으로 라우팅하여 모odular이고 타겟된 반응 생성을 보장한다.
• 프레임워크는 대화 행위 주석이 사용된 PersuasionForGood 데이터셋에서 훈련 및 평가되었으며, 목적지 밀어내기 및 반응 모듈을 조정하는 데에 대화 행위 주석이 사용되었다.

실험 결과

연구 질문

• RQ1 사실 응답과 사회적 반응을 명시적으로 통합하는 모odular 대화 시스템이 엔드 투 엔드 모델 대비 사용자 인식 전문성과 친근함을 향상시킬 수 있는가?
• RQ2 설득 전략(예: 정서적 호소)에 대한 미세 조절이 얼마나 설득 대화 시스템의 효과성 향상에 기여하는가?
• RQ3 사회적 인정과 사실 정확성의 통합이 사용자 참여도와 인식된 공감 능력에 어떤 영향을 미치는가?
• RQ4 RAP 프레임워크는 기부 설득 외의 다른 대화 작업에도 일반화 가능한가?
• RQ5 대화 행위 분류 정확도가 목적지 밀어내기 모듈 성능에 어떤 영향을 미치는가?

주요 결과

• RAP는 엔드 투 엔드 BART 기준 모델 대비 모든 사용자 평가 차원에서 더 유리하게 평가되었으며, 전문성, 친근함, 총 만족도를 포함하여 전반적인 만족도가 높았다.
• 프레임워크는 더 높은 인식된 일관성과 설득력을 달성했으며, 사용자들은 RAP가 사회적 신호에 더 자연스럽고 공감적으로 반응한다고 보고했다.
• 목적지 밀어내기 모듈은 대화 행위 분류 정확도가 62.3%를 기록했으며, 이는 기초 분류기의 F1 점수 0.66에 의해 제한되어 있어 대화 행위 검출의 성능 한계에 기인한 것으로 나타났다.
• 대화 행위 분류 없이선 BART 모델의 대화 행위 정확도가 30% 이하로 떨어졌으며, 이는 설득적 응답 생성에서 구조적 제어의 핵심적 역할을 하는 것을 입증했다.
• 사회적 반응 모듈은 zero-shot 설정에서도 높은 품질의 출력을 달성하여 다양한 도메인 간 전이 능력이 뛰어나다는 것을 보여주었다.
• 사실 응답 모듈은 Sentence-BERT 기반 군집화를 통해 정확한 응답을 효과적으로 검색하고 생성하여 신뢰할 수 있는 사실 통합을 지원했다.