[논문 리뷰] Exploration and preference satisfaction trade-off in reward-free learning

Noor Sajid, Panagiotis Tigas외 3명|arXiv (Cornell University)|2021. 06. 08.

Reinforcement Learning in Robotics참고 문헌 56인용 수 11

한 줄 요약

이 논문은 공액 사전을 사용하여 상태 및 결과에 대한 선호도를 추론함으로써 탐색과 선호도 만족을 균형 잡는 보상 없이도 작동하는 베이지안 에이전트를 위한 보상 자유 선호도 학습 메커니즘인 Pepper를 소개한다. 환경 상호작용에서 외재적 보상을 얻지 않고도 선호도를 학습함으로써, 에이전트는 변동성이 높은 환경에서는 적응적으로 탐색하고 안정된 환경에서는 이용함으로써, 시뮬레이션 환경에서 궁극적으로 호기심과 목표 지향적 행동 사이의 자율적 트레이드오프를 실현한다.

ABSTRACT

Biological agents have meaningful interactions with their environment despite the absence of immediate reward signals. In such instances, the agent can learn preferred modes of behaviour that lead to predictable states -- necessary for survival. In this paper, we pursue the notion that this learnt behaviour can be a consequence of reward-free preference learning that ensures an appropriate trade-off between exploration and preference satisfaction. For this, we introduce a model-based Bayesian agent equipped with a preference learning mechanism (pepper) using conjugate priors. These conjugate priors are used to augment the expected free energy planner for learning preferences over states (or outcomes) across time. Importantly, our approach enables the agent to learn preferences that encourage adaptive behaviour at test time. We illustrate this in the OpenAI Gym FrozenLake and the 3D mini-world environments -- with and without volatility. Given a constant environment, these agents learn confident (i.e., precise) preferences and act to satisfy them. Conversely, in a volatile setting, perpetual preference uncertainty maintains exploratory behaviour. Our experiments suggest that learnable (reward-free) preferences entail a trade-off between exploration and preference satisfaction. Pepper offers a straightforward framework suitable for designing adaptive agents when reward functions cannot be predefined as in real environments.

연구 동기 및 목표

• 외재적 보상 신호 없이도 적응적인 선호도를 학습할 수 있는 보상 자유 프레임워크를 개발하는 것.
• 동적 환경에서 탐색(내재적 동기)과 선호도 만족(균형 유지 동기) 사이의 트레이드오프를 모델링하는 것.
• 환경 상호작용에 기반해 자율적으로 선호도를 개발하고 업데이트할 수 있도록 하는 것, 베이지안 추론을 활용하여.
• 외재적 보상 없이도 선호도 학습이 적응적 행동을 이끌 수 있음을 보여주는 것.
• 활성 추론 및 딥 강화 학습 프레임워크와 호환되는 융통성 있고 모델 기반의 메커니즘을 제공하는 것.

제안 방법

• Pepper는 에이전트-환경 상호작용을 통해 상태 또는 결과에 대한 선호도를 공액 사전을 사용해 학습하며, 짧은 탐색 에피소드 후 믿음의 업데이트를 수행한다.
• 이 방법은 기대 자유 에너지(EFE) 계획 목표와 통합되어, 내재적 호기심과 선호도 기반 행동 사이의 균형을 이루도록 한다.
• 이중 단계 과정을 사용한다: 첫째, 에이전트는 환경과 상호작용하여 관측치와 은닉 상태 기록을 수집한다; 둘째, 공액 사전를 사용한 베이지안 추론를 통해 사전 선호도를 업데이트한다.
• 생성 모델은 먼저 훈련된 후, 테스트 시 계획 단계에서 선호도 학습이 이루어지며, 이로써 에이전트는 학습된 선호도에 기반해 행동할 수 있다.
• 공액 사전은 효율적이고 암시적(амortized) 선호도 학습을 가능하게 하며, 경험에 따라 변화하는 학습을 반영하는 시냅스 유연성 유사 업데이트를 제공한다.
• 이 프레임워크는 딥 활성 추론 에이전트와 호환되며, MaxEnt나 Dreamer와 같은 다른 베이지안 RL 방법에 쉽게 적용 가능하다.

실험 결과

연구 질문

• RQ1 외재적 보상 신호에 접근할 수 없는 상황에서 에이전트가 어떻게 탐색과 선호도 만족을 균형 잡을 수 있는가?
• RQ2 공액 사전은 베이지안 프레임워크 내에서 효율적이고 적응적인 선호도 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 환경의 변동성이 보상 자유 에이전트에서 탐색적 행동와 이용적 행동의 출현에 어떤 영향을 미치는가?
• RQ4 선호도 학습이 다양한 환경 조건에서 구분되며 안정된 행동 전략을 이끌 수 있는가?
• RQ5 보상 자유 메커니즘이 시뮬레이션 환경에서 적응적이고 자율적으로 증명 가능한 행동을 얼마나 잘 생성할 수 있는가?

주요 결과

• 안정된 환경에서는 Pepper를 사용하는 에이전트들이 정밀하고 확신 있는 선호도를 개발하여 시간이 지남에 따라 탐색을 줄였다.
• 변동성이 높은 환경에서는 지속적인 불확실성으로 인해 선호도가 유지되어 조기 이용을 방지했다.
• 변동성 높은 설정에서는 상태 및 보상 분포의 엔트로피가 높게 유지되어 지속적인 불확실성과 지속적인 탐색을 나타냈다.
• 상태 선호도 학습을 수행한 에이전트(Eq. 5)는 명확한 궤적을 보였으며, 일반적으로 선호하는 상태(예: 회색 벽)로 이동하고 그 주변에 머물러 있었다. 이는 시각화된 경로로 확인되었다.
• 공액 사전의 사용은 경험에 기반한 효율적이고 적응적인 유연성 학습을 가능하게 했으며, 축적된 관측치를 반영하는 시냅스 유사 업데이트를 제공했다.
• 누적된 딜레트 분포 매개변수(선호도를 나타냄)를 제거하면 항상 탐색적 행동이 유지되었으며, 이는 선호도 불확실성이 탐색을 유지하는 데 핵심적인 역할을 한다는 점을 검증했다.