[논문 리뷰] Models of human preference for learning reward functions

W. Bradley Knox, Stephane Hatgis-Kessell외 4명|arXiv (Cornell University)|2022. 06. 05.

Mental Health Research Topics인용 수 8

한 줄 요약

이 논문은 역강화학습에서 보상 함수 학습을 위한 회귀 기반 선호 모델을 제안하며, 인간의 선호가 부분 수익(보상의 합)보다는 최적 행동에서의 이탈(회귀)에 의해 더 잘 설명된다고 주장한다. 이는 무한한 선호 조건 하에서 회귀 모델이 식별 가능하다는 것을 증명하고, 인간의 선호 예측, 정책 성능, 인간 가치와의 일치도에서 표준 부분 수익 모델보다 뛰어난 성능을 실증적으로 보여준다.

ABSTRACT

The utility of reinforcement learning is limited by the alignment of reward functions with the interests of human stakeholders. One promising method for alignment is to learn the reward function from human-generated preferences between pairs of trajectory segments, a type of reinforcement learning from human feedback (RLHF). These human preferences are typically assumed to be informed solely by partial return, the sum of rewards along each segment. We find this assumption to be flawed and propose modeling human preferences instead as informed by each segment's regret, a measure of a segment's deviation from optimal decision-making. Given infinitely many preferences generated according to regret, we prove that we can identify a reward function equivalent to the reward function that generated those preferences, and we prove that the previous partial return model lacks this identifiability property in multiple contexts. We empirically show that our proposed regret preference model outperforms the partial return preference model with finite training data in otherwise the same setting. Additionally, we find that our proposed regret preference model better predicts real human preferences and also learns reward functions from these preferences that lead to policies that are better human-aligned. Overall, this work establishes that the choice of preference model is impactful, and our proposed regret preference model provides an improvement upon a core assumption of recent research. We have open sourced our experimental code, the human preferences dataset we gathered, and our training and preference elicitation interfaces for gathering a such a dataset.

연구 동기 및 목표

• 현재의 역강화학습 방법이 인간의 선호가 단지 특정 구간의 보상 합계(부분 수익)에 기반한다는 가정을 가지는 데서 기인하는 한계를 해결하기 위해.
• 최적의 의사결정에서의 이탈(회귀)를 측정하는 회귀 기반 모델을 바탕으로 한 선호 모델을 제안하여 인간 선호의 더 정확한 표현을 제공하기 위해.
• 무한한 선호 조건 하에서, 부분 수익 모델과 달리 회귀 모델이 진정한 보상 함수의 식별 가능성을 보장함을 이론적으로 증명하기 위해.
• 실증적으로 회귀 모델이 실제 인간 선호도를 예측하고 더 잘 일치하는 정책을 학습시키는 데서의 슈퍼리오리티를 검증하기 위해.

제안 방법

• 경로 세그먼트 내 각 전이의 이점의 음수합을 최적 정책에 대한 기준으로 하여 회귀를 정의한다.
• 선호도 확률이 각 세그먼트의 부분 수익이 아니라 회귀에 의존하는 선호 모델을 수립한다.
• 무한하고 노이즈가 없는 선호 조건 하에서, 부분 수익 모델이 여러 이론적 맥락에서 실패하는 반면, 회귀 모델은 진정한 보상 함수를 유일하게 식별할 수 있음을 증명한다.
• 풍부한 격자 세계 환경에서 인간 레이블이 부여된 선호 데이터셋을 수집하여 모델 성능을 비교한다.
• 회귀 모델과 부분 수익 모델을 모두 사용하여 선호 학습을 통해 보상 함수를 학습하고, 정규화된 평균 수익을 통해 정책을 평가한다.
• 초기 종료 세그먼트 제거 및 동일한 진짜 보상 함수를 가진 100개의 MDP에 대한 일반화 테스트를 포함한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 부분 수익이 아닌 회귀에 기반한 인간 선호 모델링이 이론적으로 진정한 보상 함수의 식별 가능성을 향상시키는가?
• RQ2 실제 인간 선호도 예측에서 회귀 기반 선호 모델이 부분 수익 모델보다 얼마나 잘 성과를 내는가?
• RQ3 회귀 기반 선호 모델을 통해 학습된 정책이 인간 중심의 성능에서 부분 수익 모델에 비해 뛰어나게 되는가?
• RQ4 동일한 기저 보상 함수를 가진 다양한 MDP 인스턴스 간에서 회귀 모델이 더 잘 일반화되는가?
• RQ5 부분 수익 모델이 진짜 보상 함수를 식별하지 못하는 이유가 보상 함수 이동이나 세그먼트 길이 변화와 같은 구조적 문제 때문인가?

주요 결과

• 첫 번째 단계의 인간 선호 데이터에서, 회귀 모델은 정규화된 평균 수익 0.999를 기록했고, 부분 수익 모델은 -12.7을 기록하여, 거의 최적 대비 심각하게 열 劣한 성능을 보였다.
• 인간 레이블 데이터셋의 모든 분할에서, 회귀 모델은 부분 수익 모델보다 인간 선호도 예측 성능이 뛰어나며, 특히 최적 수준에 가까운 성능과 무작위보다 나은 성능 기준에서 두드러진다.
• 동일한 진짜 보상 함수를 가진 100개의 MDP에 대한 일반화 테스트에서, 회귀 모델은 부분 수익 모델보다 더 일관되게 거의 최적 수준의 성능을 기록했으며, 특히 20개와 5개의 훈련 분할에서 두드러진다.
• 변동 길이의 경로나 단일 전이 세그먼트가 포함된 맥락에서는 부분 수익 모델이 진짜 보상 함수를 식별하지 못하지만, 회귀 모델은 여전히 식별 가능하다.
• 초기 종료 세그먼트를 훈련 데이터에서 제거한 상황에서도 회귀 모델의 성능은 유연하게 유지되며, 이는 부분 수익 모델의 열 劣한 성능가 구조적 결함 때문임을 확인한다.
• 일반화 성능에서 두 모델 간 유의미한 통계적 차이는 없었음(p > 0.2)으나, 회귀 모델은 거의 최적의 정책 복원 빈도 측면에서 항상 부분 수익 모델을 앞서나갔다.