[논문 리뷰] On Reward Function for Survival

Naoto Yoshida|arXiv (Cornell University)|2016. 06. 18.

Fault Detection and Control Systems참고 문헌 23인용 수 6

한 줄 요약

이 논문은 다단계 생존 확률을 최대화하는 것으로 목표를 설정함으로써 생존을 위한 기본적인 강화학습(RL) 보상 함수를 제안한다. 이를 위해 시간에 따른 생존 확률의 로그로 표현된 다단계 생존 확률을 최대화하는 것이 목표이다. 이 방법은 변분 추론을 통해 표준 강화학습 목표로 변환하여, 에이전트가 효과적인 생존 전략을 학습할 수 있도록 한다. 이를 통해 에이전트는 배터리 수준을 유지하고 독성 물체를 피하는 등 랜덤 에이전트보다 생존 시간이 긴 전략을 학습함을 입증하였다.

ABSTRACT

Obtaining a survival strategy (policy) is one of the fundamental problems of biological agents. In this paper, we generalize the formulation of previous research related to the survival of an agent and we formulate the survival problem as a maximization of the multi-step survival probability in future time steps. We introduce a method for converting the maximization of multi-step survival probability into a classical reinforcement learning problem. Using this conversion, the reward function (negative temporal cost function) is expressed as the log of the temporal survival probability. And we show that the objective function of the reinforcement learning in this sense is proportional to the variational lower bound of the original problem. Finally, We empirically demonstrate that the agent learns survival behavior by using the reward function introduced in this paper.

연구 동기 및 목표

• 미래의 T단계 생존 확률을 최적화하는 확률적 최적화 문제로 생존 문제를 수식화하는 것.
• 원리적인 보상 함수를 유도함으로써 생존 전략 학습과 전통적 강화학습 간 격차를 메우는 것.
• 변분 추론을 통해 생존 확률을 최대화하는 것이 특정 보상 함수를 가진 표준 강화학습 목표와 수학적으로 동일한 형태로 변환됨을 보여주는 것.
• 이 보상 함수로 훈련된 에이전트가 자원 관리 및 위험 회피와 같은 효과적인 생존 행동을 학습함을 경험적으로 검증하는 것.

제안 방법

• 상태 전이의 확률적 모델을 사용하여 T단계 향후 생존 확률을 최대화하는 생존 문제를 수식화한다.
• 시간에 따른 생존 확률의 로그의 음수로 정의된 보상 함수를 도입하여 진정한 생존 목표의 대체 지표로 기능한다.
• 변분 추론과 기대값최대화(EM) 알고리즘을 적용하여 생존 확률 목표의 하한선(변분 자유 에너지)을 유도한다.
• M단계에서의 음수 자유 에너지 함수가 제안된 보상 함수를 가진 표준 강화학습 목표와 수학적으로 동일한 형태임을 보여준다.
• Sarsa(λ)를 모델-프리 강화학습 알고리즘으로 사용하여, 배터리, 음식, 독성 물체 상태가 포함된 시뮬레이션 환경에서 유도된 보상 함수로 에이전트를 훈련시킨다.
• 에이전트의 생존 가능성을 추적하기 위해 생존 플래그 메커니즘을 도입하며, 생존 확률이 임계값 이하로 떨어지면 에피소드를 종료한다.

실험 결과

연구 질문

• RQ1 생존 문제를 다단계 생존 확률 최대화 작업으로 공식적으로 프레임워크화할 수 있는가?
• RQ2 이러한 생존 목표는 의미 있는 보상 함수를 가진 표준 강화학습 문제로 어떻게 변환될 수 있는가?
• RQ3 생존 확률의 로그에 기반한 유도된 보상 함수는 강건한 생존 행동을 학습시키는 데 효과적인가?
• RQ4 생존 목표의 변분 하한선은 전통적 강화학습 목표와 일치하는가? 이를 통해 기존 강화학습 알고리즘의 사용이 가능한가?

주요 결과

• 제안된 생존 보상 함수를 사용한 Sarsa(λ) 에이전트는 랜덤 에이전트보다 중앙값 생존 시간이 유의미하게 높았으며, 랜덤 에이전트는 25단계를 넘어서 생존하는 경우가 거의 없었다.
• 에이전트는 배터리 수준을 목표치인 60 근처로 효과적으로 유지함으로써 생리적 상태를 잘 조절하고 있음을 보여주었다.
• 평가 기간 동안 에이전트가 섭취한 독성 물체(B)의 수는 항상 0으로 유지되어 유해 자극을 피하고 있음을 확인하였다.
• 에이전트는 시간이 지남에 따라 유익한 음식 항목(A)의 소비를 증가시켜 적응적인 번식 행동을 보였다.
• 경험적 결과는 제안된 보상 함수가 자원 관리 및 위험 회피와 같은 복잡한 생존 전략을 학습시키는 데 효과적임을 확인하였다.