[논문 리뷰] Perspectives on the Social Impacts of Reinforcement Learning with Human Feedback

Gabrielle Kaili-May Liu|arXiv (Cornell University)|2023. 03. 06.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

본 논문은 사람의 피드백이 포함된 강화학습(RLHF)의 사회적·윤리적 함의를 고찰하며, 잠재적인 긍정적 사회적 영향과 거버넌스 도전을 강조한다. RLHF가 정합성을 개선하고 편향을 줄이며 공정한 접근성을 확장할 수 있다고 주장하는 반면, 남용과 거버넌스의 격차에 대해 경고한다.

ABSTRACT

Is it possible for machines to think like humans? And if it is, how should we go about teaching them to do so? As early as 1950, Alan Turing stated that we ought to teach machines in the way of teaching a child. Reinforcement learning with human feedback (RLHF) has emerged as a strong candidate toward allowing agents to learn from human feedback in a naturalistic manner. RLHF is distinct from traditional reinforcement learning as it provides feedback from a human teacher in addition to a reward signal. It has been catapulted into public view by multiple high-profile AI applications, including OpenAI's ChatGPT, DeepMind's Sparrow, and Anthropic's Claude. These highly capable chatbots are already overturning our understanding of how AI interacts with humanity. The wide applicability and burgeoning success of RLHF strongly motivate the need to evaluate its social impacts. In light of recent developments, this paper considers an important question: can RLHF be developed and used without negatively affecting human societies? Our objectives are threefold: to provide a systematic study of the social effects of RLHF; to identify key social and ethical issues of RLHF; and to discuss social impacts for stakeholders. Although text-based applications of RLHF have received much attention, it is crucial to consider when evaluating its social implications the diverse range of areas to which it may be deployed. We describe seven primary ways in which RLHF-based technologies will affect society by positively transforming human experiences with AI. This paper ultimately proposes that RLHF has potential to net positively impact areas of misinformation, AI value-alignment, bias, AI access, cross-cultural dialogue, industry, and workforce. As RLHF raises concerns that echo those of existing AI technologies, it will be important for all to be aware and intentional in the adoption of RLHF.

연구 동기 및 목표

• RLHF의 사회적 효과를 체계적으로 연구한다.
• RLHF에서 발생하는 핵심 사회적·윤리적 이슈를 식별한다.
• 다양한 이해관계자를 위한 RLHF의 사회적 영향을 논의한다.
• RLHF 개발의 지속이 사회적으로 순이익이 긍정임을 주장한다.

제안 방법

• RLHF 개념과 역사적 맥락에 대한 문헌 종합.
• RLHF의 일곱 가지 주요 사회적 영향 영역에 대한 논의.
• 정보 무결성, 정합성, 편향, 접근성, 문화, 산업, 노동 및 직업에 대한 잠재적 이익과 위험을 평가한다.

실험 결과

연구 질문

• RQ1 RLHF가 AI 생성 콘텐츠의 정보 무결성과 신뢰에 어떤 영향을 미칠 수 있는가?
• RQ2 RLHF가 인구 전반의 다양한 가치관과 선호를 어떻게 반영할 수 있는가?
• RQ3 RLHF가 사회적 불평등과 AI 접근성을 완화하거나 확대시키는 방식은 무엇인가?
• RQ4 RLHF의 문화적, 국제적, 노동력 측면의 함의는 무엇인가?
• RQ5 RLHF의 남용에 대응하기 위해 제안된 거버넌스 및 완화 전략은 무엇인가?

주요 결과

• RLHF는 GPT-3와 같은 비HF 모델에 비해 진실성을 높이고 독성을 낮춰 잘못된 정보에 대응할 잠재력을 가진다.
• RLHF는 모델이 명시적 지시와 암묵적 인간 가치를 따르도록 유도함으로써 가치 정합성을 강화하고 내부 정합성 및 안전에 기여한다.
• RLHF는 계산 자원과 데이터 요구가 적은 더 작은 모델을 가능하게 하여 다양한 편향을 완화하고 공정한 접근성을 촉진할 수 있다.
• RLHF를 통한 문화 간 피드백은 문화적으로 의식 있는 AI 배포와 맥락 간 평화로운 대화를 지원할 수 있다.
• RLHF는 산업 응용과 노동력 변혁을 강화하는 한편, 강력한 모델에 대한 거버넌스, 안전, 형평성, 접근성에 대한 우려를 제기한다.