[논문 리뷰] Distributional Advantage Actor-Critic

Shangda Li, Selina Bing외 1명|arXiv (Cornell University)|2018. 06. 10.

Reinforcement Learning in Robotics참고 문헌 4인용 수 7

한 줄 요약

이 논문은 원시 픽셀 입력을 사용하여 시각적으로 복잡하고 부분 관측 가능하며 정해진 프로시저로 생성된 환경에서 1인용 시각적 내비게이션을 위한 분포적 이점이 있는 액터-크리틱(DAAC) 방법을 제안한다. 분포적 RL, 이점 함수 추정, 후회 경험 재생(HER)을 조합함으로써, 이 방법은 샘플 효율성과 희박 보상 설정에서의 성능을 향상시키며, DeepMind Lab의 'SeekAvoid_Arena' 및 'Maze Navigation' 작업에서 표준 DQN 및 DDPG 베이스라인을 능가한다.

ABSTRACT

In traditional reinforcement learning, an agent maximizes the reward collected during its interaction with the environment by approximating the optimal policy through the estimation of value functions. Typically, given a state s and action a, the corresponding value is the expected discounted sum of rewards. The optimal action is then chosen to be the action a with the largest value estimated by value function. However, recent developments have shown both theoretical and experimental evidence of superior performance when value function is replaced with value distribution in context of deep Q learning [1]. In this paper, we develop a new algorithm that combines advantage actor-critic with value distribution estimated by quantile regression. We evaluated this new algorithm, termed Distributional Advantage Actor-Critic (DA2C or QR-A2C) on a variety of tasks, and observed it to achieve at least as good as baseline algorithms, and outperforming baseline in some tasks with smaller variance and increased stability.

연구 동기 및 목표

• 원시 RGB-D 관측치를 사용하여 시각적으로 복잡하고 부분 관측 가능하며 프로시저로 생성된 3D 내비게이션 환경에서 에이전트를 훈련시키는 도전 과제를 해결한다.
• 전통적인 RL 알고리즘인 DQN과 DDPG가 희박 보상, 고차원 시각적 설정에서 가지는 한계를 극복하기 위해 고도화된 기법들을 통합한다.
• 분포적 RL과 이점 기반 가치 추정을 통해 딥 강화 학습 프레임워크에서 샘플 효율성과 학습 안정성을 향상시킨다.
• 복잡하고 동적인 환경에서의 성능 평가를 위해 제안된 방법을 DeepMind Lab의 'SeekAvoid_Arena' 및 'Maze Navigation' 작업에 적용한다.
• HER, 액터-크리틱 아키텍처, 분포적 가치 학습의 조합이 수동 기능 공학 없이도 효과적인 목표 조건 학습을 가능하게 함을 입증한다.

제안 방법

• 기대 수익이 아닌 전체 수익 분포를 모델링하기 위해 분포적 강화 학습 프레임워크를 채택하여 희박 보상에 대한 강건성을 향상시킨다.
• 가치 함수 학습을 향상시키기 위해 이점 함수 추정을 통합하여 정책 업데이트의 안정성과 샘플 효율성을 향상시킨다.
• 실패한 트레이젝터리를 재설정하여 목표를 재레이블링함으로써 후회 경험 재생(HER)을 적용하여, 희박 보상 환경에서 의미 있는 학습 신호를 제공한다.
• 원시 RGB-D 관측치를 직접 처리하기 위해 깊이 컨volution 신경망을 사용하여 수동 기능 추출이 필요 없도록 한다.
• 정책(액터)과 가치 함수(크리틱)를 위한 별도의 네트워크를 갖춘 액터-크리틱 아키텍처를 구현하며, 경험 재생을 활용한 오프-폴리시 훈련을 이용한다.
• 유니버설 가치 함수 근사기(UVFA)를 사용하여 Q-함수를 상태-행동 쌍과 목표 모두에 의존하도록 확장함으로써, 동적 환경에서의 목표 조건 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 원시 픽셀 입력을 사용하여 시각적으로 복잡하고 부분 관측 가능하며 프로시저로 생성된 3D 환경에서 분포적 이점이 있는 액터-크리틱 프레임워크가 효과적으로 내비게이션 정책을 학습할 수 있는가?
• RQ2 후회 경험 재생(HER)을 분포적 및 이점 기반 가치 학습과 조합함으로써, 희박 보상 내비게이션 작업에서 샘플 효율성이 어떻게 향상되는가?
• RQ3 UVFA의 통합이 변화하는 시작 상태와 목표 상태를 가진 환경에서 효과적인 목표 조건 학습을 얼마나 잘 가능하게 하는가?
• RQ4 제안된 방법은 DeepMind Lab 작업에서 표준 DQN 및 DDPG 베이스라인 대비 학습 속도와 최종 성능 측면에서 어떻게 비교되는가?
• RQ5 고차원 시각적 내비게이션 시나리오에서 원시 픽셀에서의 엔드 투 엔드 학습이 선형 모델이나 수동으로 설계된 기능보다 우수한가?

주요 결과

• 랜덤 정책은 모든 환경에서 1000단계 동안 보상이 0이었으며, 이는 작업의 곤경과 체계적인 학습 접근이 필요함을 확인한다.
• 원시 픽셀 입력을 사용한 선형 모델은 성능이 열악하여 간단한 함수 근사기가 고차원 시각적 관측치에 대해 충분하지 않음을 시사한다.
• 수동 기능 추출은 일반화 가능성이 떨어지므로 원시 픽셀에서의 엔드 투 엔드 학습이 필요함을 강조한다.
• 컨volution 신경망을 통한 기능 추출은 선형 모델 대비 성능 향상을 크게 이끌었으며, 시각 입력으로부터 효과적인 표현 학습을 가능하게 했다.
• HER, 분포적 가치 학습, 이점 기반 크리틱 학습의 통합은 표준 DQN 및 DDPG 대비 샘플 효율성 향상과 더 빠른 수렴을 이끌었다.
• 제안된 DAAC 프레임워크는 'SeekAvoid_Arena' 및 'Maze Navigation' 작업에서 베이스라인 알고리즘보다 뛰어난 성능을 보였으며, 특히 희박 보상과 동적 환경 처리에서 뛰어난 성능을 보였다.