[논문 리뷰] A Unified Bellman Equation for Causal Information and Value in Markov Decision Processes

Stas Tiomkin, Naftali Tishby|arXiv (Cornell University)|2017. 03. 05.

Reinforcement Learning in Robotics참고 문헌 20인용 수 23

한 줄 요약

이 논문은 마코프 결정 과정(MDPs)에서 인과적 정보 흐름과 가치를 동시에 모델링하는 통합 벨만 방정식을 제안한다. 환경에서 에이전트로의 유도 정보(정보 제약 조건)와 에이전트에서 환경으로의 유도 정보(행동 능력)를 통합한다. 무한 수명 주기 동안 유도 정보에 대한 자기 일관성 있는 벨만 재귀식을 유도하여 정보 이론적 제약 조건 하에서 최적의 에이전트 행동 분석이 가능하게 하며, 소방서 위치 설정 문제에서 수치적 검증을 통해 수렴성과 최단경로 해와의 정성적 일치를 보였다.

ABSTRACT

The interaction between an artificial agent and its environment is bi-directional. The agent extracts relevant information from the environment, and affects the environment by its actions in return to accumulate high expected reward. Standard reinforcement learning (RL) deals with the expected reward maximization. However, there are always information-theoretic limitations that restrict the expected reward, which are not properly considered by the standard RL. In this work we consider RL objectives with information-theoretic limitations. For the first time we derive a Bellman-type recursive equa- tion for the causal information between the environment and the agent, which is combined plausibly with the Bellman recursion for the value function. The unified equitation serves to explore the typical behavior of artificial agents in an infinite time horizon.

연구 동기 및 목표

• 정보 이론적 제약 조건 하에서 강화 학습에서 에이전트와 환경 간의 双방향 정보 흐름을 수학적으로 형식화하기 위해.
• 환경에서 에이전트로의 유도 정보에 대한 벨만 유형의 재귀 방정식을 유도하여 보상 최적화에 영향을 미치는 정보 전달률 제약 조건을 모델링하기 위해.
• 에이전트가 환경에 영향을 미칠 수 있는 능력을 반영하기 위해 에이전트에서 환경로로의 유도 정보에 대한 두 번째 벨만 방정식을 유도함으로써 프레임워크를 확장하기 위해.
• 양방향 정보 채널을 하나의 재귀적 프레임워크로 통합하여 무한 수명 주기 MDPs에서 일반적인 최적 행동을 분석하기 위해.
• 지능형 에이전트의 실용적 설계 기준을 제공하기 위해: 에이전트의 정보 처리 속도는 주어진 MDP를 해결하기 위해 필요한 최소 속도를 초과해야 한다.

제안 방법

• 시간에 따라 상태 및 행동 궤적의 결합 분포를 기반으로 환경에서 에이전트로의 유도 정보에 대한 벨만 유형의 재귀식을 유도한다.
• 통합 정보-가치 벨만 방정식을 해결하기 위해 상태 및 행동 공간에서의 행렬 연산을 사용하는 자기 일관성 있는 반복 알고리즘을 도입한다.
• 통합 방정식을 적용하여 에이전트의 기대 보상과 정보 흐름을 동시에 모델링하며, 유도 정보의 상대적 변화를 통해 수렴성을 모니터링한다.
• 격자 세계 소방서 위치 설정 문제에서 수치적 검증을 수행하여 유도 정보 값이 정확한 최단경로 평균과 비교된다.
• 유도 정보를 상태-행동 분포의 기능으로 사용하여 양방향 정보 전달률을 정량화한다.
• 반복적 해법 과정의 안정성과 수렴성을 보장하기 위해 리아푸노프 유사 구조를 활용한다.

실험 결과

연구 질문

• RQ1 무한 수명 주기 조건 하에서 마코프 결정 과정에서 환경에서 에이전트로의 유도 정보를 어떻게 재귀적으로 모델링할 수 있는가?
• RQ2 강화 학습에서 가치 함수의 진화와 인과적 정보 흐름을 동시에 포괄하는 통합 벨만 방정식을 구성할 수 있는가?
• RQ3 에이전트에서 환경로로의 유도 정보는 MDPs에서 최적 장기 행동을 형성하는 데 어떤 역할을 하는가?
• RQ4 정보 제약 조건 하에서 주어진 MDP를 해결하기 위해 필요한 최소 속도에 비해 에이전트의 정보 처리 속도는 어떻게 관련되어 있는가?
• RQ5 통합 벨만 방정식에서 유도된 해가 최단경로 문제와 같은 고전적 최적화 해와 얼마나 일치하는가?

주요 결과

• 제안된 통합 벨만 방정식은 가치와 인과적 정보를 단일 재귀적 프레임워크 내에서 성공적으로 모델링하여 무한 수명 주기 동안의 에이전트 행동 분석이 가능하게 하였다.
• 통합 방정식의 반복적 해법은 상태 수에 대해 하위선형 수렴성을 보이며, 각 반복마다 O(|S|×|A|) 연산이 필요하여 플로이드-워셜 또는 다익스트라 유형 알고리즘보다 훨씬 빠르게 작동한다.
• 수치 시뮬레이션 결과, 알고리즘이 계산한 유도 정보 값은 정확한 최단경로 평균과 정성적으로 유사한 패턴을 보였으며, 가장 높은 값(빨간 블록)은 최적의 소방서 위치를 나타내었다.
• 벽이 없는 도시에서는 유도 정보 방법으로 유도된 최적의 소방서 위치가 전형적인 전쌍 최단경로 계산 결과와 정확히 일치하였다.
• 에이전트에서 환경로로의 유도 정보는 특정 상태가 아닌 평균적으로 어떤 목표 상태에도 최적으로 대응할 수 있도록 준비되어야 하는 문제에 있어 유용함을 입증하였다.
• 이 프레임워크는 에이전트의 정보 처리 속도가 최적 성능를 달성하기 위해 필요한 최소 속도를 초과해야 한다고 규명하였으며, 이는 인공 에이전트 설계를 위한 기준을 제공한다.