[논문 리뷰] Ecological Reinforcement Learning

John D. Co-Reyes, Suvansh Sanjeev외 3명|arXiv (Cornell University)|2020. 06. 22.

Reinforcement Learning in Robotics참고 문헌 46인용 수 12

한 줄 요약

이 논문은 생태학적 강화학습을 제안하며, 환경의 특성—특히 환경 형태 조절과 동적 특성—이 비단발성, 희박한 보상 환경에서의 강화학습을 크게 용이하게 할 수 있음을 제시한다. 초기 상태를 수정하거나 전이 엔트로피를 증가시킴으로써 에이전트는 리셋 없이도 밀도 높은 보상 없이도 더 나은 탐색과 학습을 달성하며, 훈련된 정책은 원래의 덜 구조화된 MDP로 더 잘 일반화된다.

ABSTRACT

Much of the current work on reinforcement learning studies episodic settings, where the agent is reset between trials to an initial state distribution, often with well-shaped reward functions. Non-episodic settings, where the agent must learn through continuous interaction with the world without resets, and where the agent receives only delayed and sparse reward signals, is substantially more difficult, but arguably more realistic considering real-world environments do not present the learner with a convenient "reset mechanism" and easy reward shaping. In this paper, instead of studying algorithmic improvements that can address such non-episodic and sparse reward settings, we instead study the kinds of environment properties that can make learning under such conditions easier. Understanding how properties of the environment impact the performance of reinforcement learning agents can help us to structure our tasks in ways that make learning tractable. We first discuss what we term "environment shaping" -- modifications to the environment that provide an alternative to reward shaping, and may be easier to implement. We then discuss an even simpler property that we refer to as "dynamism," which describes the degree to which the environment changes independent of the agent's actions and can be measured by environment transition entropy. Surprisingly, we find that even this property can substantially alleviate the challenges associated with non-episodic RL in sparse reward settings. We provide an empirical evaluation on a set of new tasks focused on non-episodic learning with sparse rewards. Through this study, we hope to shift the focus of the community towards analyzing how properties of the environment can affect learning and the ultimate type of behavior that is learned via RL.

연구 동기 및 목표

• 비단발성, 희박한 보상 환경에서 환경 특성이 강화학습 성능에 미치는 영향을 조사하는 것.
• 보상 형태 조절이 비현실적인 현실 환경에서 지속적이고 리셋 없는 학습의 과제를 해결하는 것.
• 환경 수정이 학습을 이끄는 데 있어 보상 형태 조절의 타당한 대안이 될 수 있는지 탐색하는 것.
• 환경의 동적 특성(전이 엔트로피 증가)이 명시적 커리큘럼이나 형태 조절 없이도 학습을 안정화시키는지 평가하는 것.
• 환경 형태 조절된 환경에서 훈련된 에이전트가 원래의 덜 구조화된 MDP로 더 잘 일반화됨을 보여주는 것.

제안 방법

• 보상 함수를 변경하지 않고도 고보상 영역으로의 유도를 가능하게 하는 '환경 형태 조절'을 도입—초기 상태나 동역학을 수정함.
• 환경 전이 엔트로피로 정의된 측정 가능한 성질인 '동적 특성'을 제안—에이전트 행동과 독립적인 확률적 특성 반영.
• 새로운 비단발성, 희박한 보상 작업에서 환경 형태 조절과 동적 특성 증가를 경험적으로 평가.
• 탐색 효율성과 행동 패턴 비교를 위해 상태 방문 빈도 수와 궤적 시각화를 사용.
• 수정된 환경에서 에이전트를 훈련하고 원래의 수정되지 않은 MDP에서 성능을 평가하여 일반화 능력 평가.
• 보상 형태 조절(예: 일회성 보상 또는 거리 기반 보상)과의 비교를 통해 보상 설계에 기인한 편향을 분리.

실험 결과

연구 질문

• RQ1 환경 형태 조절—초기 상태나 동역학을 수정함—이 비단발성, 희박한 보상 강화학습에서 학습을 향상시킬 수 있는가?
• RQ2 환경의 동적 특성(전이 엔트로피 증가)이 명시적 커리큘럼이나 보상 형태 조절 없이도 학습을 안정화시키고 성능을 향상시키는가?
• RQ3 탐색 효율성과 행동 품질 측면에서 환경 형태 조절과 동적 특성은 전통적 보상 형태 조절과 어떻게 비교되는가?
• RQ4 생태학적으로 형태 조절된 환경에서 훈련된 에이전트가 원래의 덜 구조화된 MDP로 더 잘 일반화되는가?
• RQ5 다양한 형태 조절 방법에서 발생하는 행동 편향은 무엇이며, 비단발성 환경에서 임무 완수에 어떤 영향을 미치는가?

주요 결과

• 환경 형태 조절은 무작위 정책이 고보상 영역에 도달하는 데 걸리는 시간을 줄여 비단발성 환경에서 탐색과 상태 커버리지 향상.
• 환경의 동적 특성 증가(높은 전이 엔트로피)는 리셋 없는 학습을 안정화시키고, 명시적 커리큘럼이 없더라도 효과적인 훈련을 가능하게 함.
• 환경 형태 조절 또는 동적 특성 증가로 훈련된 에이전트는 격자 전역에서 균일한 상태 방문 빈도를 보이며, 모서리에 갇히는 것을 방지.
• 일회성 보상 또는 거리 기반 보상과 같은 보상 형태 조절 방법은 보상 함수의 편향으로 인해 열악한 행동—예: 반복 행동 또는 임무 실패—유도.
• 형태 조절 또는 동적 특성 환경에서 훈련된 정책은 원래의 MDP로 더 잘 일반화되어 표준 보상 형태 조절보다 더 빠르고 신뢰성 있게 임무를 해결.
• 사냥 환경에서 환경 형태 조절된 에이전트는 15 타임스텝 내에 임무를 성공적으로 완수하지만, 보상 형태 조절된 에이전트는 행동 편향으로 인해 100 타임스텝 내에 실패함.