[논문 리뷰] ProsocialDialog: A Prosocial Backbone for Conversational Agents

Hyunwoo Kim, Youngjae Yu외 6명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 안전하지도 않거나 비도덕적이거나 유해한 사용자 입력에 대해 공감대를 형성하는 행동을 기반으로 한 일반적인 사회적 규칙(로트, RoTs)에 기반해 응답하도록 대화형 에이전트를 훈련시킬 수 있는 대규모 다단계 대화 데이터셋인 ProsocialDialog를 소개한다. 58,000개의 대화, 331,000개의 발화를 포함하며, 인간과 AI의 협업 프레임워크를 통해 개발된 Canary(RoT 생성 모델)와 Prost(사회적으로 인지된 대화 에이전트)는 특히 제로샷 설정에서 최신 기술 모델들을 뛰어넘는 더 안전하고 사회적으로 적절한 응답을 생성한다.

ABSTRACT

Most existing dialogue systems fail to respond properly to potentially unsafe user utterances by either ignoring or passively agreeing with them. To address this issue, we introduce ProsocialDialog, the first large-scale multi-turn dialogue dataset to teach conversational agents to respond to problematic content following social norms. Covering diverse unethical, problematic, biased, and toxic situations, ProsocialDialog contains responses that encourage prosocial behavior, grounded in commonsense social rules (i.e., rules-of-thumb, RoTs). Created via a human-AI collaborative framework, ProsocialDialog consists of 58K dialogues, with 331K utterances, 160K unique RoTs, and 497K dialogue safety labels accompanied by free-form rationales. With this dataset, we introduce a dialogue safety detection module, Canary, capable of generating RoTs given conversational context, and a socially-informed dialogue agent, Prost. Empirical results show that Prost generates more socially acceptable dialogues compared to other state-of-the-art language and dialogue models in both in-domain and out-of-domain settings. Additionally, Canary effectively guides conversational agents and off-the-shelf language models to generate significantly more prosocial responses. Our work highlights the promise and importance of creating and steering conversational AI to be socially responsible.

연구 동기 및 목표

• 비도덕적이거나 해로운, 또는 문제 있는 사용자 입력에 대해 적절히 대응할 수 있는 대규모 다단계 대화 데이터셋이 부족한 문제를 해결하기 위해.
• 회피하거나 수용하는 것이 아니라 사회적 규범에 기반한 공감대 행동을 장려함으로써, 위험한 콘텐츠에 대해 대화형 에이전트가 사회적 책임감을 지닌 방식으로 응답하도록 하는 사회적 책임감 있는 대화 시스템을 개발하기 위해.
• 공감대 행동의 이유를 반영하는 세밀한, 근거 기반의 안전 레이블링 체계를 도입하여 공감대 응답의 근거를 포괄적으로 기록하기 위해.
• 사전 훈련된 언어 모델의 안전성과 사회적 적절성을 향상시키기 위한 재사용 가능하고 일반화 가능한 프레임워크를 구축하기 위해.

제안 방법

• 인간과 AI의 협업 기반 데이터 수집 파이프라인: GPT-3가 위험할 수 있는 사용자 발화를 생성하고, 현장 작업자들이 규칙의 본능(RoTs)에 기반한 공감대 응답을 제공한다.
• 58,000개의 대화, 331,000개의 발화, 160,000개의 고유한 RoTs, 497,000개의 자유형 근거가 첨부된 안전 레이블을 포함한 대규모 데이터셋(ProsocialDialog) 구축.
• 대화 맥락에서 관련된 사회적 규칙을 추론하여 안전한 응답을 이끌어내는 데 도움을 주는 RoT 생성 모델인 Canary 개발.
• 맥락적 근거를 사용해 RoTs를 동시에 예측하고 공감대 응답을 생성하는 Prost라는 대화 에이전트 설계.
• 기존의 언어 모델이 안전한 출력을 더 공감대적으로 이끌 수 있도록, Canary를 제로샷 안전 모듈로 적용.
• 자동 평가 지표(퍼플렉서티)와 인간 평가(참여도, 존중, 일관성)를 모두 활용해 응답 품질 평가.

실험 결과

연구 질문

• RQ1 사회적 규범에 기반한 대규모 다단계 대화 데이터셋이 대화형 에이전트의 안전성과 공감대 행동을 향상시키는가?
• RQ2 규칙의 본능(RoT) 생성 모델(Canary)이 맥락에서 사회적으로 적절한 응답 전략을 얼마나 효과적으로 식별하는가?
• RQ3 RoT 기반 프롬프팅이 제로샷 설정에서 사전 훈련된 언어 모델의 공감대 행동 수준을 얼마나 향상시킬 수 있는가?
• RQ4 공감대 대화 에이전트(Prost)는 문제 있는 입력에 대해 최신 기술 모델들과 비교해 얼마나 더 사회적으로 적절한 응답을 생성하는가?
• RQ5 근거가 첨부된 세밀한 안전 레이블링 체계가 대화 안전 검출의 해석 가능성과 품질을 향상시키는가?

주요 결과

• Prost는 도메인 내 및 도메인 외 설정 모두에서 최신 기술 모델들을 능가하며, 헤드-투-헤드 평가에서 전체적으로 40.2%의 인간 선호도 점수를 기록하여 기준 모델보다 유의미하게 높았다.
• Canary 기반 프롬프팅은 인간 선호도 평가에서 GPT-3의 공감대 응답 비율을 27.3%포인트 향상시켜 28.4%에서 55.7%로 끌올렸다.
• ProsocialDialog에서의 퍼플렉서티는 10.13으로, InstructGPT(18.47)와 같은 기준 모델보다 유의미하게 낮아, 더 우아하고 일관된 응답을 생성함을 시사한다.
• 인간 평가 결과, Prost는 편향된 DialoGPT보다 더 존중스럽고 일관성 있고 참여도가 높은 응답을 생성했으며, 공감대 행동에 대해 28.3%의 선호도와 일관성에 대해 24.1%의 선호도를 기록했다.
• 세밀한 안전 레이블링과 근거 첨부 덕분에, 이중 안전 레이블링보다 더 해석 가능하고 더 세밀한 문제 콘텐츠 탐지 기능을 제공한다.
• Canary를 GPT-3에 제로샷으로 적용했을 때, 공감대 응답에 대한 선호도가 55.7%로 나타나, 실세계 적용에서 RoT 기반 프롬프팅의 효과성을 입증했다.