[논문 리뷰] Implicit Distributional Reinforcement Learning

Yuguang Yue, Zhendong Wang외 1명|arXiv (Cornell University)|2020. 07. 13.

Reinforcement Learning in Robotics참고 문헌 44인용 수 5

한 줄 요약

이 논문은 은닉 분포 강화 학습 기반의 오프-폴리시 강화 학습 알고리즘인 암시적 분포 기반 액터-크리틱(IDAC)을 제안한다. 이 알고리즘은 딥 생성 네트워크(DGNs)를 사용해 할인 누적 수익의 분포를 모델링하고, 탄력적인 정책 학습을 위한 반암시 액터(SIA)를 활용한다. 이중 지연 DGNs 구조를 통합하여 과도한 추정 문제를 완화함으로써, IDAC는 OpenAI Gym의 연속 제어 작업에서 최신 기술(SOTA) 수준의 성능을 달성하며, 대부분의 환경에서 기준 모델인 SAC와 SDPG를 능가한다.

ABSTRACT

To improve the sample efficiency of policy-gradient based reinforcement learning algorithms, we propose implicit distributional actor-critic (IDAC) that consists of a distributional critic, built on two deep generator networks (DGNs), and a semi-implicit actor (SIA), powered by a flexible policy distribution. We adopt a distributional perspective on the discounted cumulative return and model it with a state-action-dependent implicit distribution, which is approximated by the DGNs that take state-action pairs and random noises as their input. Moreover, we use the SIA to provide a semi-implicit policy distribution, which mixes the policy parameters with a reparameterizable distribution that is not constrained by an analytic density function. In this way, the policy's marginal distribution is implicit, providing the potential to model complex properties such as covariance structure and skewness, but its parameter and entropy can still be estimated. We incorporate these features with an off-policy algorithm framework to solve problems with continuous action space and compare IDAC with state-of-the-art algorithms on representative OpenAI Gym environments. We observe that IDAC outperforms these baselines in most tasks. Python code is provided.

연구 동기 및 목표

• 분포 기반 강화 학습과 확률적 정책 학습을 융합하여 연속 제어 강화 학습의 샘플 효율성을 향상시키는 것.
• 딥 생성 네트워크(DGNs)를 통한 암시적 분포를 활용해 할인 누적 수익의 전체 분포를 모델링하는 것.
• 해석적 밀도 함수에 의존하지 않고도 비대칭성, 첨도, 공분산 구조를 포괄하는 복잡한 정책 분포를 유연하게 구현하는 것.
• 값 기반 강화 학습에서 흔히 발생하는 과도한 추정 문제를 해결하기 위해, 정렬된 출력값의 원소별 최소값을 취하는 이중 지연 DGNs 구조를 도입하는 것.
• 표준 연속 제어 환경에서의 추론 실험과 성능 비교를 통해 각 구성 요소의 효과를 검증하는 것.

제안 방법

• 분포 기반 크리틱은 상태-행동 쌍과 임의의 노이즈를 입력으로 받아 암시적으로 수익 분포를 모델링하는 두 개의 딥 생성 네트워크(DGNs)로 구성되며, 분포를 나타내는 값의 집합을 출력한다.
• DGNs는 예측된 수익 분포와 목표 수익 분포 간의 워셔스타인 거리를 최소화하는 분포 기반 벨만 업데이트를 통해 훈련된다.
• 정책은 학습 가능한 정책 파라미터와 재파arameterizable 노이즈 분포를 결합한 반암시 액터(SIA)로 구현되며, 추정 가능한 엔트로피와 파라미터를 갖는 암시적 마진 정책 분포를 가능하게 한다.
• 이중 지연 DGNs 구조가 도입된다: 두 개의 DGNs가 정렬된 수익 값 벡터를 생성하고, 목표 값은 이 두 벡터의 원소별 최소값을 취함으로써 과도한 추정을 감소시킨다.
• 알고리즘은 오프-폴리시 액터-크리틱 프레임워크 내에서 작동하며, 재현 버퍼와 타겟 네트워크를 사용해 훈련을 안정화시킨다.
• 닫힌 형식의 밀도가 없더라도, 암시적 정책의 스코어 함수를 사용해 정책 기반 강화 학습을 스 tochastic gradient descent를 통해 종단 간 훈련이 가능하게 한다.

실험 결과

연구 질문

• RQ1 암시적 분포를 통한 누적 수익의 전체 분포 모델링이 연속 제어 강화 학습의 샘플 효율성과 성능 향상에 기여하는가?
• RQ2 유연한 분포적 성질(예: 비대칭성, 공분산)을 갖는 반암시 정책이 표준 대각 행렬 가우시안 정책보다 우월한가?
• RQ3 이중 지연 DGNs 구조가 DQN과 SAC에서 성공한 것처럼, 분포 기반 강화 학습에서 과도한 추정 문제를 효과적으로 완화하는가?
• RQ4 IDAC의 구성 요소들—DGN 기반 크리틱, SIA 정책, 이중 지연 구조—각각이 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ5 IDAC는 다양한 연속 제어 환경에서 일반화 능력이 뛰어나며, SAC 및 SDPG와 같은 최신 기술 알고리즘을 능가하는가?

주요 결과

• IDAC는 OpenAI Gym의 대부분의 연속 제어 환경에서 최신 기술 알고리즘인 SAC와 SDPG를 능가하며, 더 뛰어난 샘플 효율성과 최종 성능를 보여준다.
• 추론 실험을 통해 이중 지연 DGNs 구조가 성능 향상에 크게 기여하는 것으로 확인되었으며, 단일 DGN 기반 모델 대비 큰 성능 격차를 보였다.
• 반암시 액터(SIA)는 다수의 행동 샘플링을 적용한 가우시안 정책 대비도 뚜렷한 성능 향상을 이룬다. 이는 복잡한 분포 모델링의 가치를 시사한다.
• 가우시안 정책을 사용하지만 DGN 기반 크리틱을 갖춘 IDAC-Gaussian 모델도 SAC를 능가한다. 이는 분포 기반 크리틱 자체가 강력한 이점을 제공한다는 것을 의미한다.
• DGN 기반 크리틱의 성능 향상은 행동 샘플링 증가 때문이 아니며, SAC에 다수의 행동을 명시적으로 추가해도 성능 향상이 없음을 확인함으로써, IDAC의 성능 향상은 분포 기반 모델링에 기인함을 입증한다.
• 두 개의 정렬된 DGN 출력값의 원소별 최소값 계산 방식이 과도한 추정을 효과적으로 감소시켜, 모든 평가된 환경에서 훈련 안정성과 수렴 성능 향상을 이룬다.