[논문 리뷰] Complex behavior from intrinsic motivation to occupy action-state path space

Jorge Ramírez‐Ruiz, Dmytro Grytskyy외 3명|arXiv (Cornell University)|2022. 05. 20.

Evolutionary Game Theory and Cooperation인용 수 4

한 줄 요약

이 논문은 외부 보상 대신 향후 행동-상태 경로 엔트로피를 최대화하는 내재적 동기가 에이전트에서 춤추기, 숨바꼭질, 이타심과 같은 복잡한 목표 지향적 행동을 생성한다고 제안한다. 행동-상태 경로에 대한 엔트로피 최대화를 위한 벨먼 방정식을 수립함으로써 저자들은 최적 정책의 유일성과 수렴성을 증명하며, 보상 조정이나 외부 목표 없이도 에이전트가 자연스럽게 풍부하고 다양한 행동을 탐색함을 보여준다.

ABSTRACT

Most theories of behavior posit that agents tend to maximize some form of reward or utility. However, animals very often move with curiosity and seem to be motivated in a reward-free manner. Here we abandon the idea of reward maximization, and propose that the goal of behavior is maximizing occupancy of future paths of actions and states. According to this maximum occupancy principle, rewards are the means to occupy path space, not the goal per se; goal-directedness simply emerges as rational ways of searching for resources so that movement, understood amply, never ends. We find that action-state path entropy is the only measure consistent with additivity and other intuitive properties of expected future action-state path occupancy. We provide analytical expressions that relate the optimal policy and state-value function, and prove convergence of our value iteration algorithm. Using discrete and continuous state tasks, including a high--dimensional controller, we show that complex behaviors such as `dancing', hide-and-seek and a basic form of altruistic behavior naturally result from the intrinsic motivation to occupy path space. All in all, we present a theory of behavior that generates both variability and goal-directedness in the absence of reward maximization.

연구 동기 및 목표

• 강화학습에서 외부 보상 정의의 근본적 문제를 다루며, 이는 종종 임의적이며 작업에 의존적이다.
• 에이전트가 외부 보상이 아닌 장기적인 행동-상태 경로의 점유도를 최대화함으로써 새로운 내재적 동기 메커니즘을 제안한다.
• 미래 경로 점유도에 대해 가환성, 양성, 미분 가능성 조건을 만족하는 유일한 측정 기준으로 행동-상태 경로 엔트로피를 정식화한다.
• 행동-상태 경로 엔트로피 최대화만으로도 이산 및 연속 환경에서 복잡하고 적응적인, 마치 목표 지향적인 행동이 나타나는지를 입증한다.
• 엔트로피 기반 정책 최적화를 위한 수학적으로 엄밀한 프레임워크를 제공하며, 고유한 해와 수렴 보장을 제공한다.

제안 방법

• 에이전트의 목적은 외부 보상 없이 할인된 향후 행동-상태 경로 엔트로피를 최대화하는 것으로, 마르코프 결정 과정으로 모델링된다.
• 최적 정책는 행동 엔트로피와 상태 엔트로피를 하이퍼파rameter α와 β로 균형 잡는 벨먼 방정식으로 유도된다.
• 상태-가치 함수는 반복적 가치 반복을 통해 계산되며, 연속 상태 공간의 경우 선형 보간을 사용한다.
• 에이전트의 전이가 결정적이고, 다른 실체(예: 반려동물)의 전이가 확률적임을 가정하여, 벨먼 업데이트에서 후속 상태의 합을 계산할 수 있도록 한다.
• 이 알고리즘은 이산(에이전트-반려동물, 사냥-피식자) 및 연속(카트폴) 환경에서 검증되었으며, β를 변화시켜 상태 엔트로피와 행동 엔트로피의 가중치를 조절한다.
• 보간 후 가치 함수 정규화를 적용하여 유효한 확률 정책을 보장한다.

실험 결과

연구 질문

• RQ1 외부 보상 조정 없이도 에이전트가 춤추기나 숨바꼭질과 같은 복잡하고 마치 목표 지향적인 행동을 생성할 수 있는가?
• RQ2 미래 경로 점유도에 대해 가환성과 직관적 성질을 만족하는 유일한 측정 기준은 행동-상태 경로 엔트로피인가?
• RQ3 행동-상태 경로 엔트로피 최대화가 벨먼 방정식 프레임워크에서 고유하고 수렴하는 해를 유도하는가?
• RQ4 엔트로피 최대화를 통한 내재적 탐색이 반려동물의 문을 열기 같은 이타적 행동을 자연스럽게 이끌 수 있는가?
• RQ5 행동 엔트로피와 상태 엔트로피의 균형(β로 제어)이 복잡한 행동의 발생에 어떤 영향을 미치는가?

주요 결과

• 외부 보상 없이도 행동-상태 경로 엔트로피를 최대화하는 에이전트는 카트폴 환경에서 자연스럽게 '춤추기' 행동을 보인다.
• 사냥-피식자 작업에서 에이전트는 환경의 제약 조건과 확률적 전이를 활용하여 자연스럽게 숨바꼭질 행동을 수행한다.
• 에이전트-반려동물 시나리오에서 β=1일 때 에이전트는 문을 열어(문이 열린 지속시간을 늘려) 기본적인 형태의 이타심을 보인다.
• 문이 열려 있었던 시간 비율은 β=0일 때 0.05에서 β=1일 때 0.85로 증가하여 상태 엔트로피 가중치에 강한 의존성을 보였다.
• 히트맵 분석을 통해 더 높은 β 값일수록 반려동물이 접근 가능한 상태의 점유가 더 균일하고 광범위하게 이루어짐을 확인하여 더 풍부한 탐색을 의미한다.
• 이론적 분석을 통해 행동-상태 경로 엔트로피에 대한 벨먼 방정식은 고유한 해를 가지며 반복 업데이트 규칙 하에 수렴함을 증명하였다.