[논문 리뷰] The Expertise Problem: Learning from Specialized Feedback

Oliver Daniels-Koch, Rachel A. Freedman|arXiv (Cornell University)|2022. 11. 12.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 인간 피드백을 통한 강화학습(RLHF)에서 교사의 전문성 수준에 따라 피드백 신뢰도가 달라지는 '전문성 문제'를 규명하고 공식화한다. 저자들은 전문 교사를 모델링할 수 있도록 기존 벤치마크를 확장하여, 최신 RLHF 방법인 PEBBLE이 전문성 인식이 없는 선택 전략을 사용할 경우 성능이 열 劣화됨을 보여주며, 전문 교사 선별 및 도메인 내 질의 사용이 성능 향상에 기여함을 입증한다. 이는 향후 연구를 위한 오픈소스 프레임워크를 제공한다.

ABSTRACT

Reinforcement learning from human feedback (RLHF) is a powerful technique for training agents to perform difficult-to-specify tasks. However, human feedback can be noisy, particularly when human teachers lack relevant knowledge or experience. Levels of expertise vary across teachers, and a given teacher may have differing levels of expertise for different components of a task. RLHF algorithms that learn from multiple teachers therefore face an expertise problem: the reliability of a given piece of feedback depends both on the teacher that it comes from and how specialized that teacher is on relevant components of the task. Existing state-of-the-art RLHF algorithms assume that all evaluations come from the same distribution, obscuring this inter- and intra-human variance, and preventing them from accounting for or taking advantage of variations in expertise. We formalize this problem, implement it as an extension of an existing RLHF benchmark, evaluate the performance of a state-of-the-art RLHF algorithm, and explore techniques to improve query and teacher selection. Our key contribution is to demonstrate and characterize the expertise problem, and to provide an open-source implementation for testing future solutions.

연구 동기 및 목표

• 교사 신원과 작업 구성 요소의 특수성에 따라 피드백 품질이 달라지는 RLHF의 전문성 문제를 공식화하는 것.
• PEBBLE와 같은 최신 RLHF 알고리즘의 이질적인 교사 전문성 하에서의 성능 평가.
• 전문성 수준을 고려한 질의 및 교사 선별 전략이 학습 효율성과 보상 모델 정확도 향상에 기여하는지 탐구하는 것.
• 향후 연구를 위한 강건하고 전문성 인식이 가능한 RLHF 방법에 기여할 수 있도록 오픈소스 벤치마크 및 구현 제공.

제안 방법

• 저자들은 교사가 작업의 다양한 구성 요소에서 서로 다른 전문성 수준을 가진다고 모델링하여 전문성 문제를 공식화하고, 다중 교사, 다중 도메인 피드백 프레임워크를 도입한다.
• 기존 RLHF 벤치마크를 확장하여, 요약(예: Reddit 기사 대비 CNN 기사)과 같은 다양한 도메인에서 전문성 수준이 다른 알고리즘적으로 정의된 교사를 포함시킨다.
• 본 연구는 최신 RLHF 알고리즘인 PEBBLE을 새로운 환경에서 평가하며, 단순 다중 교사 학습과 전문성 인식 전략 간 성능을 비교한다.
• 핵심 기법으로는 동일 도메인 내에서의 질의 선택(동일 도메인의 트레이젝터리 간 비교)과 각 도메인에서 가장 전문적인 교사를 선별하여 피드백 품질을 향상시키는 것이다.
• 보상 모델은 교사의 선호도 레이블과 모델이 예측한 선호도 확률 간 교차 엔트로피 손실을 사용하며, 교사 행동에 대해 볼츠만-합리성 가정을 적용한다.
• 성능 평가 기준은 환경에서 최종 에이전트 정책의 성능이며, 질의 및 교사 선별 전략에 대한 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 특정 작업 구성 요소에서 다양한 전문성 수준을 가진 교사들 간 피드백의 신뢰도는 어떻게 달라지는가?
• RQ2 피드백이 이질적인 전문성 수준을 가진 교사들로부터 올 경우, 표준 RLHF 알고리즘(예: PEBBLE)은 효과적으로 일반화될 수 있는가?
• RQ3 각 작업 구성 요소에 대해 가장 전문적인 교사를 선별하는 것이 모든 교사를 동등하게 사용하는 것보다 학습 성능 향상에 기여하는가?
• RQ4 동일 도메인 내 질의(동일 도메인의 트레이젝터리 간 비교)는 피드백 품질 향상과 학습 효율성 향상에 어느 정도 기여하는가?
• RQ5 전문성 인식 교사 및 질의 선별 전략은 복잡한 복합 작업에서 단순 다중 교사 RLHF에 비해 상당한 성능 향상을 이룰 수 있는가?

주요 결과

• 다양한 전문 교사를 단순히 확장한 PEBBLE의 경우, 낮은 전문성 수준의 교사로부터의 신뢰할 수 없는 피드백으로 인해 성능이 열 劣화된다.
• 각 작업 구성 요소에 대해 가장 전문적인 교사를 선별하는 것은 모든 교사를 동등하게 사용하는 것보다 최종 에이전트 성능 향상에 뚜렷한 기여를 한다.
• 동일 도메인 내 질의(동일 도메인 내 트레이젝터리 간 비교)를 사용할 경우 더 신뢰할 수 있는 피드백을 확보하고 수렴 속도가 빨라진다.
• 전문 교사와 비전문 교사의 피드백 간 성능 격차는 크며, 낮은 전문성 수준의 피드백은 보상 모델의 일반화 능력을 떨어뜨린다.
• 오픈소스 벤치마크 구현은 전문성에 의한 피드백 변동성이 RLHF의 확장성과 신뢰도에서 이전에 간과되었던 핵심 요소임을 입증한다.
• 결과적으로 향후 RLHF 시스템은 복잡한 다중 구성 요소 작업에서 강건한 성능을 달성하기 위해 교사의 전문성을 명시적으로 모델링하고 고려해야 한다는 점을 시사한다.