[논문 리뷰] A Theory of Abstraction in Reinforcement Learning

David Abel|arXiv (Cornell University)|2022. 03. 01.

Evolutionary Algorithms and Applications인용 수 5

한 줄 요약

이 학위논문은 강화학습에서의 추상화에 대한 형식적 이론을 제안하며, 근사 최적 행동을 유지하고, 학습 및 구축이 효율적이며, 계획 또는 학습 시간이 감소하는 데 세 가지 핵심 욕구를 정의한다. 이는 에이전트가 효과적인 추상화를 학습할 수 있도록 해주는 새로운 알고리즘과 이론적 분석을 도입하여, 성능을 유지하면서도 강화학습의 복잡성을 크게 낮춘다.

ABSTRACT

Reinforcement learning defines the problem facing agents that learn to make good decisions through action and observation alone. To be effective problem solvers, such agents must efficiently explore vast worlds, assign credit from delayed feedback, and generalize to new experiences, all while making use of limited data, computational resources, and perceptual bandwidth. Abstraction is essential to all of these endeavors. Through abstraction, agents can form concise models of their environment that support the many practices required of a rational, adaptive decision maker. In this dissertation, I present a theory of abstraction in reinforcement learning. I first offer three desiderata for functions that carry out the process of abstraction: they should 1) preserve representation of near-optimal behavior, 2) be learned and constructed efficiently, and 3) lower planning or learning time. I then present a suite of new algorithms and analysis that clarify how agents can learn to abstract according to these desiderata. Collectively, these results provide a partial path toward the discovery and use of abstraction that minimizes the complexity of effective reinforcement learning.

연구 동기 및 목표

• 제한된 데이터와 계산 자원으로 복잡한 환경에서 강화학습 에이전트가 효과적으로 일반화할 수 있도록 하는 도전에 대응한다.
• 근사 최적 행동 유지, 효율적 구축, 계획/학습 시간 감소라는 세 가지 핵심 욕구를 식별하여 강화학습에서 추상화의 개념을 형식화한다.
• 이러한 욕구를 충족하는 추상화를 학습하는 알고리즘을 개발하여 더 효율적이고 확장 가능한 강화학습을 가능하게 한다.
• 이론적 및 실증적 분석을 통해 추상화가 효과적인 강화학습의 복잡성을 어떻게 줄이는지 보여준다.
• 인간 인지에서의 추상적 사고와 인공 에이전트에서의 확장 가능하고 원칙적인 추상화 사이의 격차를 메운다.

제안 방법

• 추상화 함수에 대한 세 가지 욕구를 정의한다: (1) 근사 최적 행동의 표현을 유지하고, (2) 효율적으로 학습되고 구축될 수 있으며, (3) 계획 또는 학습 시간을 줄인다.
• 이 욕구를 충족하는 상태-행동 추상화를 발견하기 위한 새로운 알고리즘을 도입한다. 이는 커버 타임 최소화를 통한 옵션 발견 및 값 보존 추상화를 포함한다.
• 압축 기반 원칙을 사전 학습 학습에서 상태 추상화에 적용하여, 추상화를 정보 압축의 한 형태로 프레임워크화한다.
• 이론적 분석을 통해 욕구를 충족하는 추상화가 계획 및 학습 복잡도를 증명 가능하게 감소시킴을 보여준다.
• 옵션과 풍부한 네트워크와 같은 계층적 강화학습 프레임워크를 활용하여, 구조화된 환경에서 추상화를 구현하고 평가한다.
• 수명 주기 및 전이 학습 설정에 추상화를 통합하여, 작업 간 정책 및 가치 함수 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화학습에서 추상화를 어떻게 형식적으로 정의할 수 있을까? 이를 통해 효과적인 의사결정을 지원할 수 있는가?
• RQ2 추상화 함수가 강화학습에서 유용하기 위해 충족해야 할 최소한의 원칙적인 기준(욕구)은 무엇인가?
• RQ3 우리가 설계한 알고리즘은 욕구를 충족하면서도 계획 및 학습 시간을 최소화할 수 있는 추상화를 학습할 수 있는가?
• RQ4 실제로 추상화는 강화학습의 복잡성을 어떻게 줄이는가? 이는 정량적으로 분석할 수 있는가?
• RQ5 추상화는 어느 정도 작업 간에 전이 가능하며, 강화학습에서의 수명 주기 학습을 가속화하는 데 사용될 수 있는가?

주요 결과

• 제안된 이론은 강화학습에서 추상화에 대한 세 가지 형식적 욕구를 수립한다: 근사 최적 행동 유지, 효율적 학습 가능성, 계획 또는 학습 시간 감소.
• 커버 타임 최소화를 통한 옵션 발견 알고리즘은 탐색 시간을 줄이고 샘플 효율성을 향상시키는 데 효과적인 추상화를 학습하는 데 성공했다.
• 값 보존 상태-행동 추상화는 근사 최적 성능를 유지하면서도 상태공간 복잡도를 크게 감소시킴을 입증했다.
• 이론적 분석을 통해 욕구를 충족하는 추상화가 계획 및 학습 시간을 증명 가능하게 감소시킴을 확인했으며, 특히 큰 MDP에서 뚜렷한 효과를 보였다.
• 사전 학습 학습에서 압축 기반 추상화는 전문가 행동을 유지하면서도 더 효율적인 정책 학습을 가능하게 했다.
• 수명 주기 및 전이 학습 실험을 통해 학습된 추상화가 작업 간에 재사용 가능하며, 정책 전이 및 가치 함수 학습을 가속화함을 입증했다.