[논문 리뷰] Learning Policies with External Memory

Leonid Peshkin, Nicolas Meuleau외 1명|ArXiv.org|2001. 03. 02.

Reinforcement Learning in Robotics참고 문헌 16인용 수 92

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)에서 에이전트가 최적의 정책을 학습할 수 있도록 외부 메모리를 사용하는 스티그머지적 강화 학습 접근법을 제안한다. 관측값에 메모리 비트를 추가하고 vaps 및 SARSA(λ)와 같은 알고리즘을 사용함으로써, 기억에 기반한 효율적인 신용 할당이 가능해지며, 특히 다중 위치 적재-하역 문제와 같은 복잡한 비마르코프 과제에서 vaps가 SARSA(λ)를 능가한다.

ABSTRACT

In order for an agent to perform well in partially observable domains, it is usually necessary for actions to depend on the history of observations. In this paper, we explore a {\it stigmergic} approach, in which the agent's actions include the ability to set and clear bits in an external memory, and the external memory is included as part of the input to the agent. In this case, we need to learn a reactive policy in a highly non-Markovian domain. We explore two algorithms: SARSA(λ), which has had empirical success in partially observable domains, and VAPS, a new algorithm due to Baird and Moore, with convergence guarantees in partially observable domains. We compare the performance of these two algorithms on benchmark problems.

연구 동기 및 목표

• 표준 마르코프 가정이 실패하는 부분적으로 관찰 가능한 환경에서 효과적인 정책을 학습하는 데 도전하는 것.
• 외부 메모리가 반응형 에이전트가 비마르코프 도메인에서 최적 행동을 시뮬레이션할 수 있도록 할 수 있는지 조사하는 것.
• 기본 POMDP 문제에서 외부 메모리를 사용한 정책 학습 성능을 vaps와 SARSA(λ) 간에 비교하는 것.
• 매우 비마르코프적인 환경에서 신용 할당 메커니즘이 학습 안정성과 수렴성에 미치는 영향을 평가하는 것.

제안 방법

• 역사적 정보를 인코딩하기 위해 에이전트의 관측 공간에 외부 메모리 비트의 집합을 추가한다.
• 관측값과 메모리 상태를 행동으로 매핑하는 반응형 정책을 사용하며, 메모리 설정 및 초기화 행동을 포함한다.
• 학습률과 온도 감쇠 전략을 사용하는 엘리기비리티 트레이스와 버틀만 탐색을 활용한 SARSA(λ)를 사용하여 정책 학습을 수행한다.
• POMDP에 대해 수렴 보장이 되는 알고리즘인 vaps(Value-Adjusted Policy Search)를 적용하며, 진정된 버틀만 탐색과 정책 오차 기반의 신용 할당을 사용한다.
• 각 관측-행동 쌍에 대한 가중치를 사용하여 Q-함수를 표형으로 표현한다.
• 학습 안정성을 높이기 위해 온도 감쇠와 고정된 학습률 스케줄을 사용하는 수정된 탐색 전략을 적용한다.

실험 결과

연구 질문

• RQ1 외부 메모리는 반응형 에이전트가 비마르코프 도메인에서 최적의 정책을 학습하는 데 도움이 될 수 있는가?
• RQ2 비마르코프 복잡성이 증가하는 기준 POMDP 문제에서 vaps와 SARSA(λ)의 학습 성능는 어떻게 비교되는가?
• RQ3 vaps에서 개선된 신용 할당이 매우 비마르코프적인 환경에서 SARSA(λ)보다 더 안정적인 학습과 더 빠른 수렴을 이끌어내는가?
• RQ4 비마르코프 과제에서 각 알고리즘에 가장 효과적인 초모수 설정(예: β, λ, 학습률, 온도 감쇠)은 무엇인가?
• RQ5 특히 다중 위치 적재-하역 문제에서 vaps는 SARSA(λ)가 실패하는 상황에서도 일관되게 근최적의 정책으로 수렴할 수 있는가?

주요 결과

• 한 개의 적재 위치 문제에서, vaps와 SARSA(λ) 모두 100회 이내에 최적의 정책으로 수렴하였으며, 시도 길이는 9단계였다.
• 두 개의 적재 위치 문제에서는 vaps가 일관되게 근최적의 정책으로 수렴하였지만, SARSA(λ)는 근최적 성능에 도달한 후 자주 발산하여 안정되지 못했다.
• 진정된 버틀만 탐색을 사용하는 수정된 vaps가 베어드와 무어가 보고한 원래 vaps의 형태보다 학습 안정성과 수렴 속도 측면에서 뛰어나게 성능을 냈다.
• λ=1이고 ε=0인 SARSA(λ)가 다른 λ 값보다 성능이 뛰어나지만, 탐색 중 모든 상태-행동 쌍에 동일한 처벌을 가하기 때문에 여전히 불안정했다.
• vaps는 수렴을 위해 β=1이 필요했으며, 이는 매우 비마르코프적인 환경에서 벨먼 오차가 학습 신호로 효과적이지 않음을 시사한다.
• 기본 학습률 α₀=0.5와 온도 감쇠(c_max=1.0에서 c_min=0.2로) 조합이 두 알고리즘과 문제 유형 전반에서 견고한 성능을 보였다.