[논문 리뷰] Quantifying Differences in Reward Functions

Adam Gleave, Michael D. Dennis외 3명|arXiv (Cornell University)|2020. 06. 24.

Reinforcement Learning in Robotics참고 문헌 19인용 수 10

한 줄 요약

이 논문은 정책 학습 없이 보상 함수 간의 차이를 직접 측정할 수 있는 EPIC (등가 정책 불변 비교)를 소개한다. 이는 보상의 표준화 및 커버리지 분포에서의 상관관계 계산을 통해 이루어지며, 보상의 형태 변화나 양의 스케일링에 대해 불변이며, 변화한 동역학 하에서도 최적 정책의 회귀를 유 bounds하며, 정책 기반 평가 방법보다 뛰어난 성능을 보인다.

ABSTRACT

For many tasks, the reward function is inaccessible to introspection or too complex to be specified procedurally, and must instead be learned from user data. Prior work has evaluated learned reward functions by evaluating policies optimized for the learned reward. However, this method cannot distinguish between the learned reward function failing to reflect user preferences and the policy optimization process failing to optimize the learned reward. Moreover, this method can only tell us about behavior in the evaluation environment, but the reward may incentivize very different behavior in even a slightly different deployment environment. To address these problems, we introduce the Equivalent-Policy Invariant Comparison (EPIC) distance to quantify the difference between two reward functions directly, without a policy optimization step. We prove EPIC is invariant on an equivalence class of reward functions that always induce the same optimal policy. Furthermore, we find EPIC can be efficiently approximated and is more robust than baselines to the choice of coverage distribution. Finally, we show that EPIC distance bounds the regret of optimal policies even under different transition dynamics, and we confirm empirically that it predicts policy training success. Our source code is available at https://github.com/HumanCompatibleAI/evaluating-rewards.

연구 동기 및 목표

• 정책 롤아웃 기반 평가의 한계를 해결하기 위해, 이는 보상 불일치와 최적화 실패를 혼동하고 새로운 환경으로의 일반화 능력이 떨어지기 때문이다.
• 잠재 기반 형상화와 양의 스케일링에 대해 불변인 보상 거리 측도를 개발하여, 동일한 최적 정책을 유도하는 보상 함수 간의 일관된 비교를 보장하기 위함이다.
• 정책 최적화 없이 보상 자체만을 사용하여 계산 효율성이 높고 강인하며 예측 가능한 학습된 보상 함수 평가 방법을 개발하기 위함이다.
• 저자 성능 차이가 작을수록 최적 정책의 회귀가 작아지는 이론적 경계를 설정함으로써, 변화한 전이 동역학 하에서도 이 경계가 성립함을 보여주기 위함이다.

제안 방법

• EPIC는 커버리지 분포 𝒟에서 표준화된 보상 함수 간의 상관관계를 계산하여 보상의 잠재 기반 형상화를 제거하고 양의 스케일링을 정규화한다.
• 표준화 과정은 전이 분포에서의 평균 보상을 빼고 상태에 의존하는 편향을 제거하여 불변성을 확보한다.
• 커버리지 분포 𝒟는 무정보적 사전 분포, 예를 들어 무작위 롤아웃과 같은 방식으로 유도되어 실제 전이에 대해 광범위한 지지를 보장한다.
• EPIC는 커버리지 분포에서의 전이에 대해 몬테카를로 샘플링을 사용하여 효율적으로 근사함으로써 확장 가능한 계산을 가능하게 한다.
• 이론적 분석을 통해 EPIC가 허위 거리 측도임을 증명하고, 잠재 기반 형상화 및 양의 스케일링에 대해 불변임을 보여주며, 보상 거리 측도의 핵심 요구사항을 충족함을 입증한다.
• EPIC의 이론적 회귀 경계(정리 4.3)는 EPIC 거리가 0에 가까워질수록, 두 보상 함수에 대해 최적 정책 간의 성능 격차가 사라지며, 이는 변화한 동역학 하에서도 성립함을 보여준다.

실험 결과

연구 질문

• RQ1 정책 학습 없이도 학습된 보상 함수를 평가할 수 있는가? 이를 통해 최적화 실패와 보상 품질을 분리할 수 있는가?
• RQ2 잠재 기반 형상화와 양의 스케일링에 대해 불변인 보상 거리 측도가 존재하는가? 이를 통해 동일한 최적 정책을 유도하는 보상 함수 간의 일관된 비교가 가능한가?
• RQ3 보상 거리 측도가 계산 효율성과 커버리지 분포 선택에 대해 강인한가?
• RQ4 학습된 보상과 진짜 보상 간의 EPIC 거리가 작을 경우, 전이 동역학이 변화하더라도 최적 정책의 회귀가 낮을 것인가?

주요 결과

• EPIC는 정책 최적화 없이도 보상 함수 간의 차이를 직접 측정하는 최초의 방법으로, 최적화 실패와 보상 품질을 분리하는 데 기여한다.
• EPIC는 잠재 기반 형상화와 양의 스케일링에 대해 불변이며, 동일한 최적 정책을 유도하는 보상 함수 간의 일관된 비교를 보장한다.
• EPIC는 커버리지 분포 선택에 대해 강인하여 다양한 분포에서 안정적인 결과를 보이며, NPEC 및 ERC와 같은 기준 방법과는 달리 안정성이 뛰어나다.
• 실증 결과는 저자 EPIC 거리가 낮을수록 전이 동역학이 변화하더라도 최적 정책의 회귀가 낮다는 것을 확인하여 이론적 회귀 경계를 검증한다.
• EPIC는 몬테카를로 샘플링을 통해 효율적인 근사를 구현하여 학습된 보상 함수의 실용적 평가에 확장 가능성을 가진다.
• 이론적 분석은 EPIC 거리가 0에 가까워질수록, 두 보상 함수에 대해 최적 정책 간의 성능 격차가 사라지며, 이는 변화한 동역학 하에서도 성립함을 보여주어 예측 능력을 입증한다.