[논문 리뷰] Contextualize Me -- The Case for Context in Reinforcement Learning

Carolin Benjamins, Theresa Eimer외 7명|arXiv (Cornell University)|2022. 02. 09.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 환경적 맥락을 명시적으로 모델링함으로써 강화학습에서 제로샷 일반화를 향상시키기 위한 원칙적인 프레임워크로 맥락 기반 강화학습(cRL)을 주장한다. 환경 맥락 변수(예: 마찰계수, 중력, 질량)를 제어할 수 있는 확장된 표준 강화학습 환경을 제공하는 CARL이라는 벤치마크 라이브러리를 도입하여, 심지어 단순한 환경이라도 맥락 변화가 있을 경우 도전적으로 변하고, 맥락 정보에 접근할 수 있을 경우 일반화 성능이 크게 향상됨을 보여준다.

ABSTRACT

While Reinforcement Learning ( RL) has made great strides towards solving increasingly complicated problems, many algorithms are still brittle to even slight environmental changes. Contextual Reinforcement Learning (cRL) provides a framework to model such changes in a principled manner, thereby enabling flexible, precise and interpretable task specification and generation. Our goal is to show how the framework of cRL contributes to improving zero-shot generalization in RL through meaningful benchmarks and structured reasoning about generalization tasks. We confirm the insight that optimal behavior in cRL requires context information, as in other related areas of partial observability. To empirically validate this in the cRL framework, we provide various context-extended versions of common RL environments. They are part of the first benchmark library, CARL, designed for generalization based on cRL extensions of popular benchmarks, which we propose as a testbed to further study general agents. We show that in the contextual setting, even simple RL environments become challenging - and that naive solutions are not enough to generalize across complex context spaces.

연구 동기 및 목표

• 환경 변화에 취약한 현재의 강화학습 알고리즘 문제를 해결하기 위해 맥락을 학습 문제의 핵심 구성 요소로 체계화한다.
• 명시적인 맥락 모델링을 통해 강화학습의 일반화 능력에 대한 정밀하고 해석 가능하며 체계적인 평가를 가능하게 한다.
• 표준 강화학습 에이전트가 맥락 정보에 접근하지 못할 경우 복잡한 맥락 공간을 넘어선 일반화에 실패함을 입증한다.
• 다양하고 제어 가능한 환경 변형에서 맥락 인식 강화학습 에이전트를 평가하기 위한 표준화된 벤치마크 라이브러리(CARL)를 제공한다.
• 맥락 인식이 강화학습에서 견고한 제로샷 일반화를 위해 필수적임을 경험적으로 검증한다.

제안 방법

• 표준 마르코프 결정 과정(MDP)을 환경 동역학이 관측 가능한 맥락 변수에 의존하는 맥락 기반 MDP(cMDP)로 확장한다.
• 중력, 마찰계수, 질량, 바람 등과 같은 구성 가능한 맥락 기능을 갖춘 CARL이라는 벤치마크 라이브러리를 설계한다. 이는 기존 강화학습 환경(예: Brax, DMC, ProcGen)을 확장한다.
• 인간이 이해할 수 있는 물리적 성질과 범위가 제한된 값을 갖는 맥락 기능을 정의하여 일관성과 해석 가능성 확보.
• 맥락 변수에 대한 학습 및 평가 분포를 제어할 수 있도록 모듈러한 인터페이스를 설계하여 체계적인 일반화 연구를 가능하게 한다.
• 에이전트에 맥락 기능을 입력으로 제공함으로써 환경 특성에 따라 정책을 조정할 수 있도록 하여 일반화 성능 향상.
• CARL 환경에서 표준 강화학습 알고리즘(SAC, PPO 등)을 사용하여 다양한 맥락 분포에서의 성능 평가.

실험 결과

연구 질문

• RQ1 cRL에서 명시적인 맥락 모델링이 강화학습의 제로샷 일반화에 어떻게 기여하는가?
• RQ2 맥락 정보가 관측 불가능할 경우 표준 강화학습 에이전트가 맥락 변화에 얼마나 일반화에 실패하는가?
• RQ3 세밀한 맥락 제어 기능을 갖춘 벤치마크 라이브러리가 강화학습의 일반화 평가를 더 신뢰성 있고 해석 가능하게 만들 수 있는가?
• RQ4 마찰계수, 중력, 질량 등의 다양한 맥락 변수가 강화학습 학습 및 일반화의 난이도에 어떻게 영향을 미치는가?
• RQ5 에이전트에 맥락 정보를 제공할 경우, 예측 불가능한 맥락 분포에 대해 일반화 성능 향상이 실제로 측정 가능한가?

주요 결과

• 간단한 강화학습 환경이라도 마찰계수나 목표 거리와 같은 다양한 맥락 변화가 추가되면 상당히 도전적으로 변한다.
• 맥락 정보를 관측하지 못하는 난이도 높은 강화학습 에이전트는 복잡한 맥락 공간을 넘어선 일반화에 실패함을 보이며, 맥락 인식 학습의 필요성을 입증한다.
• 맥락 기능에 접근할 수 있는 에이전트는 맥락 정보가 없는 경우보다 예측 불가능한 맥락 분포에서 훨씬 뛰어난 제로샷 일반화 성능을 기록한다.
• CARL 벤치마크 라이브러리는 맥락 분포에 대한 정밀한 제어를 가능하게 하여 강화학습의 일반화 능력에 대한 체계적 평가를 가능하게 한다.
• 맥락 기반 MDP는 환경 변화를 체계적으로 모델링할 수 있는 원칙적인 프레임워크를 제공하며, 일반화 작업에 대한 체계적 추론을 가능하게 한다.
• 경험적 결과는 cRL에서 최적의 행동을 달성하기 위해 맥락 정보가 필수적임을 확인하며, 부분 관측 설정의 이론적 통찰과 일치한다.