Skip to main content
QUICK REVIEW

[논문 리뷰] A Survey of Reinforcement Learning from Human Feedback

Timo Kaufmann, Paul Weng|arXiv (Cornell University)|2023. 12. 22.
Software Engineering ResearchComputer Science인용 수 34
한 줄 요약

이 논문은 RLHF에 대한 포괄적 개요를 제공하며, 기본 개념, 피드백 유형, 보상 모델링, 이론, 적용, 벤치마크 및 LLM 외의 미래 방향을 자세히 다룬다.

ABSTRACT

Reinforcement learning from human feedback (RLHF) is a variant of reinforcement learning (RL) that learns from human feedback instead of relying on an engineered reward function. Building on prior work on the related setting of preference-based reinforcement learning (PbRL), it stands at the intersection of artificial intelligence and human-computer interaction. This positioning provides a promising approach to enhance the performance and adaptability of intelligent systems while also improving the alignment of their objectives with human values. The success in training large language models (LLMs) has impressively demonstrated this potential in recent years, where RLHF has played a decisive role in directing the model's capabilities towards human objectives. This article provides an overview of the fundamentals of RLHF, exploring how RL agents interact with human feedback. While recent focus has been on RLHF for LLMs, our survey covers the technique across multiple domains. We provide our most comprehensive coverage in control and robotics, where many fundamental techniques originate, alongside a dedicated LLM section. We examine the core principles that underpin RLHF, how algorithms and human feedback work together, and the main research trends in the field. Our goal is to give researchers and practitioners a clear understanding of this rapidly growing field.

연구 동기 및 목표

  • 왜 인간 피드백이 RL 목표를 정의하고 다듬는 데 사용되는지 설명한다.
  • 특히 보상 모델링과 대화형 학습을 중심으로 RLHF 접근법의 분류 체계를 조사한다.
  • RLHF의 핵심 방법, 데이터 수집, 평가 관행을 요약한다.
  • 이론적 통찰과 실용적 벤치마크를 합성하여 향후 연구를 안내한다.

제안 방법

  • 보상 학습에 이어 RL 학습으로 구성된 RLHF 프레임워크를 설명한다.
  • 피드백 유형을 PbRL, SSRL, RLHF에 매핑하여 분류 체계를 제시한다.
  • 경로 비교를 위한 Bradley-Terry 형태의 가능도(likelihood)를 통한 보상 모델 학습을 논의한다.
  • 활성 레이블 수집, 데이터 효율 기법, 평가 관행을 검토한다.
  • 정책 학습과 RLHF 목표를 연결하는 이론적 결과를 요약한다.
  • RLHF의 적용 사례, 라이브러리, 벤치마크를 조사한다.

실험 결과

연구 질문

  • RQ1RLHF를 정의하는 주요 구성 요소와 원칙은 무엇인가?
  • RQ2다양한 피드백 유형이 PbRL, SSRL, RLHF에 어떻게 적합하며 보상 모델링에 어떤 영향을 미치는가?
  • RQ3인간 피드백으로부터의 보상 학습에 대한 일반적인 방법은 무엇이며 어떻게 평가되는가?
  • RQ4RLHF에 대한 이론적 보장이나 통찰은 무엇이며 표준 RL과 어떤 관련이 있는가?
  • RQ5LLM을 넘어선 RLHF의 현재 적용, 벤치마크 및 실용적 고려사항은 무엇인가?

주요 결과

  • RLHF는 단순한 트라젝토리 비교를 넘어 더 넓은 피드백 유형을 포함함으로써 PbRL을 일반화한다.
  • Bradley-Terry 모델과 같은 확률적 형식을 통한 보상 모델링은 인간 선호로부터 보상 함수를 학습하게 한다.
  • 보상 모델 학습과 RL 정책 학습은 일반적으로 보상 학습과 정책 최적화로 분해되어 반지도 학습을 가능하게 한다.
  • 활발하고 대화형 레이블 수집과 데이터 증강 및 메타 학습과 함께 피드백 효율성과 적응성을 향상시킨다.
  • RLHF를 표준 RL과 연결하고 정렬 및 안전에 관한 통찰을 제공하는 이론적 연구가 증가하고 있으며, LLM을 넘어서는 다양한 적용과 벤치마크도 늘어나고 있다.
  • 폭넓은 응용 사례, 지원 라이브러리, 벤치마크가 존재하며 RLHF의 광범위한 영향과 실용적 관련성을 보여준다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.