Skip to main content
QUICK REVIEW

[논문 리뷰] Fine-Grained Human Feedback Gives Better Rewards for Language Model Training

Zeqiu Wu, Yushi Hu|arXiv (Cornell University)|2023. 06. 02.
Topic ModelingComputer Science인용 수 35
한 줄 요약

논문은 Fine-Grained RLHF를 도입하여 밀집하고 카테고리별 보상과 다수의 보상 모델을 사용해 언어 모델을 학습시키고, holistic 보상 대비 독성 제거와 장문형 QA 성능을 개선한다.

ABSTRACT

Language models (LMs) often exhibit undesirable text generation behaviors, including generating false, toxic, or irrelevant outputs. Reinforcement learning from human feedback (RLHF) - where human preference judgments on LM outputs are transformed into a learning signal - has recently shown promise in addressing these issues. However, such holistic feedback conveys limited information on long text outputs; it does not indicate which aspects of the outputs influenced user preference; e.g., which parts contain what type(s) of errors. In this paper, we use fine-grained human feedback (e.g., which sentence is false, which sub-sentence is irrelevant) as an explicit training signal. We introduce Fine-Grained RLHF, a framework that enables training and learning from reward functions that are fine-grained in two respects: (1) density, providing a reward after every segment (e.g., a sentence) is generated; and (2) incorporating multiple reward models associated with different feedback types (e.g., factual incorrectness, irrelevance, and information incompleteness). We conduct experiments on detoxification and long-form question answering to illustrate how learning with such reward functions leads to improved performance, supported by both automatic and human evaluation. Additionally, we show that LM behaviors can be customized using different combinations of fine-grained reward models. We release all data, collected human feedback, and codes at https://FineGrainedRLHF.github.io.

연구 동기 및 목표

  • 생성된 텍스트의 오류를 국소화하는 미세한 피드백을 사용해 RLHF 신호를 향상시키려는 목적.
  • 다양한 밀도와 오류 범주에서 작동하는 다중 미세 보상 모델을 학습시키는 프레임워크를 제안.
  • 자동 평가와 인간 평가를 통해 디톡스 및 장문형 QA 작업에서 경험적 이득을 제시.
  • 보상 모델의 결합이 사용자 요구에 맞춘 LM 행동 맞춤화를 가능하게 함을 시연.

제안 방법

  • 학습된 보상 모델을 사용해 PPO로 언어 생성을 RL 문제로 모델링한다.
  • 구체적 오류 범주 C_k와 밀도(예: 부분 문장, 문장, 전체 시퀀스)를 대상으로 하는 다중 미세 보상 모델 R_phi_k를 도입한다.
  • 세그먼트 간 밀집 보상을 모아 토큰 단위 보상 r_t를 계산하고 유창성에 대한 KL 페널티를 적용한다.
  • 인간 주석의 미세 피드백으로 보상 모델을 학습하고, RL 도중 보상 모델을 업데이트하지 않으면서 PPO에 통합한다.
  • QA의 경우 세 가지 오류 범주와 밀도 수준으로 QA-Feedback를 구성하고 별도의 보상 모델(R_phi1, R_phi2, R_phi3)을 훈련한다.
  • Fine-Grained RLHF를 holistic RLHF 및 다른 베이스라인과 비교하고, 맞춤화를 연구하기 위해 ablation 및 가중치 구성도 포함한다.

실험 결과

연구 질문

  • RQ1미세하고 밀도 기반의 피드백이 RLHF에서 홀리스틱 보상보다 더 강한 학습 신호를 제공하는가?
  • RQ2다른 오류 유형에 대한 별도 보상 모델이 장문형 결과의 사실성, 관련성, 완전성 향상에 기여하는가?
  • RQ3여러 개의 미세 보상 보상을 결합하면 LM 행동의 제어 가능한 맞춤화가 가능한가?
  • RQ4미세 피드백이 디톡스 및 장문형 QA에서 홀리스틱 피드백보다 샘플 효율성이 높은가?

주요 결과

  • Fine-Grained RLHF가 문장 수준의 독성 보상으로 RealToxicityPrompts에서 최저 독성을 달성하고 유창성 및 다양성도 홀리스틱 RLHF를 능가한다.
  • 밀집하고 미세한 보상은 홀리스틱 보상보다 독성 감소를 더 빨리 달성하게 해 샘플 효율성을 높이고, 유창성은 유사하게 유지된다.
  • 장문형 QA에서 관련성, 사실성, 정보 완전성이라는 세 가지 보상 모델이 각 오류 범주를 baselines 대비 향상시킨다.
  • 여러 보상 모델의 가중치를 결합하면 LM 행동을 조절 가능하게 하여 짧은/중간/긴 형식의 생성에서 사용자 요구에 맞춘 커스터마이즈를 가능하게 하고 오류 유형 간의 트레이드오프를 드러낸다.
  • Ablation은 각 보상 모델이 목표한 측면에 의미 있게 기여하며, 이를 제거하면 해당 측면에서 성능 저하가 발생한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.