[논문 리뷰] DAC: The Double Actor-Critic Architecture for Learning Options

Shangtong Zhang, Shimon Whiteson|arXiv (Cornell University)|2019. 04. 29.

Reinforcement Learning in Robotics참고 문헌 38인용 수 31

한 줄 요약

이 논문은 옵션 프레임워크를 두 개의 확장된 MDP로 재구성함으로써, 어떤 정책 최적화 알고리즘도 오프더셰프 방식으로 적용 가능하게 하고, 옵션 내 정책과 마스터 정책을 옵션 내 방식으로 동시에 학습할 수 있도록 하는 새로운 아키텍처인 DAC(Dual Actor-Critic)을 제안한다. DAC는 도전적인 로봇 시뮬레이션 작업에서 전이 학습 성능에서 최신 기준을 달성하며, 히에라르키 없음 기반 베이스라인 및 이전의 기울기 기반 옵션 학습 방법을 모두 능가한다.

ABSTRACT

We reformulate the option framework as two parallel augmented MDPs. Under this novel formulation, all policy optimization algorithms can be used off the shelf to learn intra-option policies, option termination conditions, and a master policy over options. We apply an actor-critic algorithm on each augmented MDP, yielding the Double Actor-Critic (DAC) architecture. Furthermore, we show that, when state-value functions are used as critics, one critic can be expressed in terms of the other, and hence only one critic is necessary. We conduct an empirical study on challenging robot simulation tasks. In a transfer learning setting, DAC outperforms both its hierarchy-free counterpart and previous gradient-based option learning algorithms.

연구 동기 및 목표

• 옵션 프레임워크에서 정책 기반 옵션 내 학습에 대한 이론적 및 실증적 근거 부족 문제를 해결하기 위해.
• 기존 기울기 기반 옵션 학습 알고리즘의 한계를 극복하기 위해, 이는 SMDP에 특화된 설계가 필요하여 고급 MDP 정책 최적화 방법의 직접적 적용을 방해하기 때문이다.
• 표준 정책 최적화 알고리즘을 사용하여 옵션 내 정책과 마스터 정책을 데이터 효율적이고 온라인 방식으로 학습할 수 있도록 하기 위해.
• 옵션 학습 문제를 두 개의 확장된 MDP로 통합적이고 명시적인 형태로 재구성함으로써, 모듈러하고 확장 가능한 학습을 가능하게 하기 위해.

제안 방법

• 옵션 프레임워크의 반 Markov 결정 과정(SMDP)을 옵션 내 정책 학습을 위한 하나, 마스터 정책 학습을 위한 하나로, 두 개의 병렬 확장된 MDP로 재구성한다.
• 각각의 확장된 MDP에 대해 독립적으로 액터-크리틱 알고리즘을 적용함으로써 더블 액터-크리틱(DAC) 아키텍처를 구성한다.
• 상태가치 함수를 크리틱으로 사용할 경우, 한 크리틱이 다른 크리틱으로 표현될 수 있음을 보여주며, 필요한 크리틱 수를 한 개로 줄일 수 있음을 입증한다.
• 콜-앤-리턴 실행 모델을 사용하여 옵션 실행 중 마스터 정책의 온라인 업데이트를 보장함으로써 옵션 내 학습을 가능하게 한다.
• 아키텍처 수정 없이도 표준 정책 최적화 알고리즘(PPO 등)을 확장된 MDP에 직접 적용할 수 있도록 한다.
• 옵션 종료 함수와 마스터 정책 간의 상호작용을 하나의 계층적 정책 ${\pi}^{\mathcal{H}}$의 일부로 명시적으로 모델링한다.

실험 결과

연구 질문

• RQ1 표준 정책 최적화 알고리즘을 사용하여 옵션 프레임워크에서 옵션 내 정책과 마스터 정책을 동시에 학습할 수 있는 통합적이고 오프더셰프 프레임워크를 개발할 수 있는가?
• RQ2 두 개의 확장된 MDP로의 재구성이 옵션 실행 중 마스터 정책의 데이터 효율적이고 온라인 학습을 가능하게 하는가?
• RQ3 표준 가치 함수 가정 하에, 두 개의 확장된 MDP에 존재하는 크리틱 구성 요소를 공유하거나 수를 줄일 수 있는가?
• RQ4 DAC 아키텍처가 전이 학습 설정에서 히에라르키 없음 기반 베이스라인과 이전의 기울기 기반 옵션 학습 방법을 모두 능가하는가?

주요 결과

• DAC는 PPO와 같은 어떤 정책 최적화 알고리즘도 옵션 내 온라인 방식으로 옵션 내 정책과 마스터 정책을 학습할 수 있도록 오프더셰프 적용을 가능하게 한다.
• 도전적인 로봇 시뮬레이션 작업에서의 전이 학습 설정에서, DAC + PPO는 히에라르키 없음 PPO 기반 베이스라인과 이전의 기울기 기반 옵션 학습 알고리즘을 모두 능가한다.
• 저자들은 상태가치 함수를 크리틱으로 사용할 경우, DAC 아키텍처에서 한 크리틱이 다른 크리틱으로 표현될 수 있음을 입증하여, 단일 공유 크리틱을 허용하고 계산 비용을 줄일 수 있음을 보였다.
• 이 방법은 활성 옵션의 종료 확률이 시간이 지남에 따라 증가하는 것을 암묵적으로 학습하며, 이는 이전 연구에서 관찰된 바와 일치하며 효과적인 옵션 관리의 가능성을 시사한다.
• 두 개의 확장된 MDP로의 명시적 재구성은 개념적 명확성을 제공하며, 이전에는 옵션 학습과 호환되지 않았던 고급 정책 최적화 기법의 사용을 가능하게 한다.
• 본 연구는 DAC에서 사용하는 1단계 모델링이 2단계 모델링보다 더 데이터 효율적이며, 온라인 옵션 내 학습을 지원함을 입증하였으며, 이는 이전 문헌에서 인식되지 않았던 중요한 차이점이다.