[논문 리뷰] Scalable agent alignment via reward modeling: a research direction

Jan Leike, David Krueger외 4명|arXiv (Cornell University)|2018. 11. 19.

Reinforcement Learning in Robotics참고 문헌 120인용 수 124

한 줄 요약

확장 가능한 에이전트 정렬을 위한 보상 모델링 제안으로, 학습 사용자 의도(보상 모델)와 정책 최적화를 분리하고, 복잡한 도메인과 신뢰 구축 경로를 다루기 위해 재귀적 보상 모델링을 도입합니다.

ABSTRACT

One obstacle to applying reinforcement learning algorithms to real-world problems is the lack of suitable reward functions. Designing such reward functions is difficult in part because the user only has an implicit understanding of the task objective. This gives rise to the agent alignment problem: how do we create agents that behave in accordance with the user's intentions? We outline a high-level research direction to solve the agent alignment problem centered around reward modeling: learning a reward function from interaction with the user and optimizing the learned reward function with reinforcement learning. We discuss the key challenges we expect to face when scaling reward modeling to complex and general domains, concrete approaches to mitigate these challenges, and ways to establish trust in the resulting agents.

연구 동기 및 목표

• 에이전트 정렬 문제를 사용자 피드백으로부터 보상 함수를 학습하고 이를 강화 학습으로 최적화하는 관점에서 프레이밍한다.
• 무엇을 달성할지(목표)와 그것을 어떻게 달성할지(정책)를 분리하는 수단으로 보상 모델링을 제안한다.
• 복잡한 도메인으로 보상 모델링을 확장하는 데 따른 도전과제를 식별하고 잠재적 완화 전략을 개요한다.
• 점차 더 능력 있는 에이전트에 대한 평가 지원을 가능하게 하기 위한 재귀적 보상 모델링을 도입한다.
• 연구 방향을 이끄는 바람직한 조건(확장 가능하고 경제적이며 실용적)과 가정을 논의한다.

제안 방법

• 보상 모델링을 사용자 피드백으로부터 보상을 제공하는 보상 모델 학습으로 정의한다.
• 학습된 보상 함수를 최적화하기 위해 RL을 사용하여 목표와 정책을 분리한다.
• 상위 수준의 에이전트가 결과 평가를 돕는 재귀적 보상 모델링을 검토하여 차후 에이전트를 위한 교육에 활용한다.
• 설계 명세 문제(오프스위치, 부작용, 감독 부재, 격리 초과 등)를 조사하고 보상 모델링이 이를 해결할 수 있다고 주장한다.
• 디자인 선택, 테스트, 해석 가능성, 검증 및 보장을 통한 신뢰 구축 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 사용자 피드백으로부터 보상 함수를 학습하는 것이 정렬을 유지하면서 복잡한 실제 세계 도메인으로 확장될 수 있는가?
• RQ2 피드백 양, 분포 변화, 보상 해킹 등이 보상 모델링이 확장됨에 따라 어떤 도전으로 나타나며 이를 어떻게 완화할 수 있는가?
• RQ3 재귀적 보상 모델링이 오차를 누적하지 않으면서 점진적으로 더 능력 있는 에이전트를 위한 평가 지원 학습을 가능하게 하는가?
• RQ4 설계 선택, 테스트, 해석 가능성, 형식적 검증과 같은 메커니즘이 보상 모델링된 에이전트에 대한 신뢰를 신뢰할 수 있는 수준으로 높일 수 있는가?
• RQ5 보상 모델링이 실용적이고 확장 가능하며 경제적인 에이전트 정렬 경로를 제공하는 어떤 가정 하에서인가?

주요 결과

• 보상 모델링은 사용자 목표를 에이전트 행동으로부터 분리할 수 있어 크레딧 할당을 완화하고 상호 작용당 피드백이 적더라도 정렬을 가능하게 할 수 있다.
• 재귀적 보상 모델링은 하위 에이전트를 평가에 참여시켜 복잡한 도메인으로 평가를 확장하는 경로를 제공한다.
• 이 접근 방식은 확장 가능하고 경제적이며 실용적이라는 바람직한 조건을 충족하려고 하며, 실용적 정렬에 대한 최소한의 실행 가능 경로를 제시한다.
• 성공이 보장되지 않으며 범위를 명확히 밝히고 다수의 사용자가 관여된 경우 선호도 집계 또는 반항에 관한 질문은 제외한다.
• 핵심 도전과제(피드백 양, 분포 변화, 보상 해킹, 용인될 수 없는 결과, 보상-결과 격차)를 식별하고 잠재적 완화 접근법을 개략한다.