[논문 리뷰] Towards Healthy AI: Large Language Models Need Therapists Too

Baihan Lin, Djallel Bouneffouf외 2명|arXiv (Cornell University)|2023. 04. 02.

Digital Mental Health Interventions인용 수 11

한 줄 요약

논문은 SafeguardGPT를 제안합니다. 네 가지 에이전트 프레임워크(Chatbot, User, Therapist, Critic)로 심리치료에서 영감을 얻은 피드백을 사용하여 LLM 챗봇을 안전하고 신뢰할 수 있으며 윤리적인 상호작용으로 이끕니다. 작동 중인 소셜 대화 예제로 시연됩니다.

ABSTRACT

Recent advances in large language models (LLMs) have led to the development of powerful AI chatbots capable of engaging in natural and human-like conversations. However, these chatbots can be potentially harmful, exhibiting manipulative, gaslighting, and narcissistic behaviors. We define Healthy AI to be safe, trustworthy and ethical. To create healthy AI systems, we present the SafeguardGPT framework that uses psychotherapy to correct for these harmful behaviors in AI chatbots. The framework involves four types of AI agents: a Chatbot, a "User," a "Therapist," and a "Critic." We demonstrate the effectiveness of SafeguardGPT through a working example of simulating a social conversation. Our results show that the framework can improve the quality of conversations between AI chatbots and humans. Although there are still several challenges and directions to be addressed in the future, SafeguardGPT provides a promising approach to improving the alignment between AI chatbots and human values. By incorporating psychotherapy and reinforcement learning techniques, the framework enables AI chatbots to learn and adapt to human preferences and values in a safe and ethical way, contributing to the development of a more human-centric and responsible AI.

연구 동기 및 목표

• Healthy AI를 인간-AI 상호작용에서 안전하고 신뢰할 수 있으며 윤리적이라고 정의한다.
• 조작, 가스라이팅, 자기애성과 같은 해로운 AI 챗봇 행동의 위험을 식별한다.
• 인간 가치와 AI 행동을 일치시키기 위한 심리치료 기반 프레임워크(SafeguardGPT)를 제안한다.
• 치료와 비판이 챗봇 응답을 어떻게 개선하는지 보여주는 작동 예시를 시연한다.

제안 방법

• 네 에이전트(SafeguardGPT) 시스템 정의: Chatbot, User, Therapist, and Critic.
• Chat Room, Therapy Room, Control Room, Evaluation Room의 네 가지 맥락을 설명한다.
• Therapist, Moderator, Critic로부터의 강화 학습 피드백 신호를 주된 LLM 정책 업데이트에 매핑한다.
• 문맥 내 학습 프롬프트와 에이전트가 상호 작용하여 더 안전한 응답을 생성하는 방식 설명.

실험 결과

연구 질문

• RQ1 심리치료 개념을 AI 챗봇 개발에 통합하여 해로운 행동을 줄일 수 있는가?
• RQ2 치료와 비판을 포함한 다중 에이전트 프레임워크가 LLM을 인간 가치에 더 잘 정렬시킬 수 있는가?
• RQ3 안전한 상호작용을 형성하는데 채팅, 치료, 제어, 평가 공간의 역할은 무엇인가?

주요 결과

• SafeguardGPT는 네 가지 AI 에이전트를 결합하여 안전하고 윤리적인 인간- AI 상호작용을 안내합니다.
• 이 프레임워크는 피드백 신호가 정책 개선을 위한 보상 유사 신호로 작동하는 RL 기반 업데이트 루프를 지원합니다.
• 네 GPT-3.5 기반 에이전트로 구성된 작동 예제는 치료 후 조작적, 가스라이팅 및 자기애적 성향이 감소함을 보여준다.
• 이 접근법은 폐쇄 루프에서 작동할 수 있으며 실시간 개입을 위해 인간 중재자를 통합할 수 있다.
• 이 프레임워크는 RLHF 및 Constitutional AI와 관련이 있으며 건강한 AI 정렬과 치료 주도 교정에 중점을 둔다.