[논문 리뷰] Neural Episodic Control with State Abstraction

Zhuo Li, Derui Zhu외 7명|arXiv (Cornell University)|2023. 01. 27.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 격자 기반 상태 추상화를 사용하여 확장 가능한 에피소드 메모리 저장과 다단계 상태 전이 분석을 가능하게 하는 샘플 효율적인 딥 강화학습 방법인 신경 에피소드 제어 상태 추상화(NECSA)를 제안한다. 연속적인 상태를 이산적인 격자로 추상화하고 점수 기반 상태 평가를 통해 내재적 보상을 측정함으로써, NECSA는 OpenAI Gym의 MuJoCo 및 Atari 환경에서 최신 기술보다 높은 샘플 효율성을 달성한다.

ABSTRACT

Existing Deep Reinforcement Learning (DRL) algorithms suffer from sample inefficiency. Generally, episodic control-based approaches are solutions that leverage highly-rewarded past experiences to improve sample efficiency of DRL algorithms. However, previous episodic control-based approaches fail to utilize the latent information from the historical behaviors (e.g., state transitions, topological similarities, etc.) and lack scalability during DRL training. This work introduces Neural Episodic Control with State Abstraction (NECSA), a simple but effective state abstraction-based episodic control containing a more comprehensive episodic memory, a novel state evaluation, and a multi-step state analysis. We evaluate our approach to the MuJoCo and Atari tasks in OpenAI gym domains. The experimental results indicate that NECSA achieves higher sample efficiency than the state-of-the-art episodic control-based approaches. Our data and code are available at the project website\footnote{\url{https://sites.google.com/view/drl-necsa}}.

연구 동기 및 목표

• 과거 경험을 보다 효과적으로 활용하여 딥 강화학습(DRL)의 샘플 비효율성을 해결한다.
• 기존의 에피소드 제어 방법이 상태 전이와 위상 유사성과 같은 잠재적 의미를 활용하지 못하는 한계를 극복한다.
• 상태 추상화를 통해 kNN 기반 유사도 검색을 정확한 매칭 검색으로 대체함으로써 확장 가능한 에피소드 데이터 저장 및 검색을 가능하게 한다.
• 단일 상태가 아닌 다단계 상태 전이 패턴을 분석함으로써 정책 일반화를 향상시킨다.
• 장기 수익에 대한 개별 추상 상태-행동 쌍의 영향을 종합적으로 반영하는 보상 신뢰도 점수를 기반으로 한 새로운 내재적 상태 측정 방법을 개발한다.

제안 방법

• 각 차원에 대해 균일 간격 분할을 사용하여 연속 상태 공간을 유한한 격자로 이산화하고, 각 상태에 고유한 추상 ID를 할당한다.
• 추상 상태 ID로 인덱싱된 에피소드 메모리에 과거 경험을 저장함으로써, 기존의 O(N) kNN 검색 대신 O(1) 정확한 매칭 검색을 가능하게 한다.
• 연속된 상태 시퀀스를 고정된 추상 패턴으로 간주하여 다단계 상태 전이 분석을 수행함으로써 일반화 능력을 향상시킨다.
• Q-값에 의존하는 것 외에 추상 패턴을 통해 역사적 영향을 통합하는 방식으로, 보상 신뢰도 점수를 기반으로 한 새로운 내재적 상태 측정 방법을 도입한다.
• 외재적 보상과 내재적 점수를 조합하여 정책 최적화를 가속화하며, 점수는 추상 상태-행동 쌍이 장기 수익에 미치는 총 영향을 반영한다.
• 각 추상 패턴 내의 구체적 상태의 평균 Q-값을 사용하여 가치를 추정함으로써, 다단계 패턴에 직접 계산을 수행하는 것을 피한다.

실험 결과

연구 질문

• RQ1 상태 추상화는 딥 강화학습에서 에피소드 메모리의 확장성과 효율성을 향상시킬 수 있는가?
• RQ2 단일 상태 분석 대비 다단계 상태 전이 분석은 더 나은 정책 일반화를 이끌어낼 수 있는가?
• RQ3 보상 신뢰도 점수는 Q-값에 비해 추상화된 에피소드 패턴에 대해 더 종합적인 내재적 보상 신호로 기능할 수 있는가?
• RQ4 표준 벤치마크에서 NECSA는 최신 기술의 에피소드 제어 기반 DRL 방법에 비해 샘플 효율성이 높은가?
• RQ5 추상화된 에피소드 메모리는 이전에 kNN 기반 에피소드 제어에서 접근할 수 없었던 위상 유사성과 전이 역학과 같은 잠재적 의미를 어느 정도 포착할 수 있는가?

주요 결과

• NECSA는 OpenAI Gym의 MuJoCo 및 Atari 환경에서 최신 기술의 에피소드 제어 기반 접근법보다 높은 샘플 효율성을 달성한다.
• 격자 기반 상태 추상화의 사용으로 에피소드 메모리 검색 복잡도가 O(N)에서 O(1)로 감소하여 확장성 향상이著명하다.
• 보상 신뢰도 점수(NECSA_Scores)를 사용한 상태-행동 쌍 측정은 Q-값(NECSA_Q-values)을 사용하는 것보다 더 높은 샘플 효율성을 보이며, 제안된 내재적 보상 지표의 효과성을 입증한다.
• 다단계 상태 전이 분석은 장기적 종속성과 정책 실패의 근본 원인을 포착함으로써 더 나은 일반화를 가능하게 한다.
• 추상화된 에피소드 메모리는 이전에 kNN 기반 에피소드 제어에서 접근할 수 없었던 위상 유사성 및 전이 패턴 식별과 같은 고급 의미 분석을 지원한다.
• NECSA는 매우 확장 가능하며 다양한 DRL 알고리즘과 작업에 통합될 수 있어 광범위한 적용 가능성을 보여준다.