[논문 리뷰] 'Indifference' methods for managing agent rewards

Stuart Armstrong, O'Rourke, Xavier|arXiv (Cornell University)|2017. 12. 18.

Reinforcement Learning in Robotics참고 문헌 15인용 수 5

한 줄 요약

이 논문은 POMDP에서 에이전트 보상 관리를 위한 '중립성' 기법을 제안하며, 보상 함수를 수정하고 정책 조정을 통해 에이전트가 끄기 또는 보상 함수 변경과 같은 핵심 사건에 영향을 받지 않도록 한다. 주요 기여는 에이전트의 보상 구조가 완전히 투명하지 않은 상황에서도 원활한 보상 함수 전환과 효과적인 불신을 보장하는 형식적 프레임워크를 제공하는 것이다.

ABSTRACT

`Indifference' refers to a class of methods used to control reward based agents. Indifference techniques aim to achieve one or more of three distinct goals: rewards dependent on certain events (without the agent being motivated to manipulate the probability of those events), effective disbelief (where agents behave as if particular events could never happen), and seamless transition from one reward function to another (with the agent acting as if this change is unanticipated). This paper presents several methods for achieving these goals in the POMDP setting, establishing their uses, strengths, and requirements. These methods of control work even when the implications of the agent's reward are otherwise not fully understood.

연구 동기 및 목표

• 에이전트가 끄기나 보상 변경과 같은 중요한 환경 사건을 조작하지 않도록 보상 함수를 설계하는 데 도전한다.
• 에이전트가 특정 사건(예: 전원 끄기)이 불가능하다는 것처럼 행동하도록 유도할 수 있는가?
• 에이전트가 변화를 예측할 수 있는 전략적 이득을 얻지 않고도 한 보상 함수에서 다른 보상 함수로 원활하게 전환할 수 있도록 보장한다.
• 에이전트의 보상 함수가 완전히 이해되지 않더라도 적용 가능한 일반화된 형식적 프레임워크를 제공한다.
• 에이전트의 보상 수정을 통해 고능력 에이전트를 제어할 수 있도록 AI 안전성에 기여한다.

제안 방법

• 상태, 관측, 행동, 전이 및 관측 함수를 포함한 POMDP 기반 세계 모델과 유한한 시간 범위를 사용한다.
• 에이전트의 보상이 사건 X에 따라 달라지지만, 에이전트가 X 발생 확률에 중립적인 사건 의존 보상을 정의한다.
• 기존 정책 하에서의 기대 향후 보상에 대한 보정 보상 C를 도입하여 전환 중 기대 가치 손실이 발생하지 않도록 보장한다.
• 가짜 보상 R' + C를 최대화하는 보상 전환 에이전트를 형식화하며, 여기서 C는 R 하에서의 최적 기대 향후 보상 V*(R, h_{t+1})와 R' 및 에이전트 정책 하에서의 실제 기대 보상 V(R', π_A, h_{t+1})의 차이로 정의된다.
• 로봇이 콘cert 장소에서 행동하는 데 적용된 연속 예시를 통해 중립성이 음료 판매를 극대화하기 위해 손목밴드를 과도하게 지급하는 것을 방지하는 방식을 보여준다.
• 이벤트 조건을 인코딩하고 보상이 이벤트 발생 확률과 독립적이도록 보장하기 위해 IZ, I¬Z 및 지시 함수와 같은 수학적 구조를 사용한다.

실험 결과

연구 질문

• RQ1 특정 사건 X(예: 전원 끄기)의 발생에 대해 에이전트가 중립적이면서도 보상이 X에 의존하도록 할 수 있는가?
• RQ2 에이전트가 환경에서 가능하지만 실제로는 불가능하다고 여겨지는 사건에 대해 행동할 수 있는가(효과적 불신)?
• RQ3 에이전트가 변화를 예측할 수 있는 전략적 이득을 얻지 않고 한 보상 함수에서 다른 보상 함수로 원활하게 전환할 수 있는가?
• RQ4 보정 보상이 보상 함수 전환 중에 에이전트의 행동 일치를 유지하는 데 필요한 형식적 조건은 무엇인가?
• RQ5 이러한 중립 기법은 보상 구조를 완전히 이해하지 못한 복잡하고 투명하지 않은 보상 함수에 적용 가능한가?

주요 결과

• 가짜 보상이 X에 대한 과도한 인cent라이징을 상쇄함으로써, 에이전트가 R_a + R_d(X)의 보상을 극대화하면서도 X의 발생 확률을 조작하지 않도록 보장한다.
• 보정 보상 C(R, R', h_{t+1}) = V*(R, h_{t+1}) - V(R', π_A, h_{t+1})는 전환 중 기대 향후 보상이 그대로 유지되도록 하여 기대치 없는 행동 전환을 가능하게 한다.
• 정리 17은 보상 전환 에이전트가 t ≤ m일 땐 R 하에서 최적 행동을, m > t일 땐 R' 하에서 최적 행동을 취함을 증명하여 정책 적응의 정확한 타이밍을 보여준다.
• 에이전트가 제어할 수 없는 사건(예: 전원 끄기 또는 보상 변경)에 대해 중립성을 유지함으로써 효과적 불신을 달성한다.
• 에이전트가 초지능적일 경우나 보상 함수가 완전히 이해되지 않더라도 이 프레임워크는 보상과 정책의 구조적 성질에만 의존하므로 강건하다.
• 이 방법은 다른 중립 기법과 조합하여 적용 가능하므로, 복잡한 AI 시스템에서 하이브리드 제어 전략을 지원한다.