[논문 리뷰] Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning

Sahil Sharma, Aravind Suresh외 2명|arXiv (Cornell University)|2017. 05. 20.

Reinforcement Learning in Robotics참고 문헌 24인용 수 16

한 줄 요약

이 논문은 이산 행동 공간을 독립적이고 조합적인 구성요소(예: 왼쪽/오른쪽, 위/아래, 발사)로 분해하는 Factored Action Space Representations (FAR)를 제안한다. 정책과 가치 함수를 인수 분해된 출력으로 모델링함으로써 에이전트는 실행 중에 동시에 여러 행동을 학습하게 되어 샘플 효율성과 정책의 강건성 향상을 이룬다. FAR는 14개의 Atari 2600 과제 중 9개에서 A3C보다, 13개의 과제 중 9개에서 A3C 기반 Q-학습보다 뛰어난 성능을 보였다.

ABSTRACT

Deep Reinforcement Learning (DRL) methods have performed well in an increasing numbering of high-dimensional visual decision making domains. Among all such visual decision making problems, those with discrete action spaces often tend to have underlying compositional structure in the said action space. Such action spaces often contain actions such as go left, go up as well as go diagonally up and left (which is a composition of the former two actions). The representations of control policies in such domains have traditionally been modeled without exploiting this inherent compositional structure in the action spaces. We propose a new learning paradigm, Factored Action space Representations (FAR) wherein we decompose a control policy learned using a Deep Reinforcement Learning Algorithm into independent components, analogous to decomposing a vector in terms of some orthogonal basis vectors. This architectural modification of the control policy representation allows the agent to learn about multiple actions simultaneously, while executing only one of them. We demonstrate that FAR yields considerable improvements on top of two DRL algorithms in Atari 2600: FARA3C outperforms A3C (Asynchronous Advantage Actor Critic) in 9 out of 14 tasks and FARAQL outperforms AQL (Asynchronous n-step Q-Learning) in 9 out of 13 tasks.

연구 동기 및 목표

• 표준 DRL이 행동 공간의 구조를 활용하지 못하는 데서 비롯하는 비효율성을 해결하기 위해.
• 행동 공간의 독립적이고 직교적인 구성요소를 사용하여 정책과 가치 함수를 모델링하기 위해.
• 단일 스텝 실행 중에 여러 행동 요소를 동시에 학습시켜 샘플 효율성과 정책의 강건성을 향상시키기 위해.
• FAR의 우수성을 고차원 제어 과제에서 경험적으로 검증하기 위해.

제안 방법

• 이산 행동 공간을 독립적인 차원(예: 수평, 수직, 발사)으로 분해하기 위해 인수 분해 신경망 아키텍처를 사용한다.
• 정책과 행동-가치 함수를 각 행동 차원의 독립적 출력 헤드의 곱으로 표현한다.
• 공유된 상태 인코더와 각 행동 요소별 별도의 출력 헤드를 사용하여 구성 요소 간 공동 학습을 가능하게 한다.
• 노이즈 주입과 강건성 테스트를 가능하게 하기 위해 온도 조절 소프트맥스를 인수 분해 출력에 적용한다.
• 수정된 네트워크 아키텍처를 사용하여 표준 DRL 알고리즘(A3C, AQL)을 통해 에이전트를 훈련시켜 인수 분해 학습을 가능하게 한다.
• 상태 특징에 대한 공유 표현을 사용하고, 요소별로 특화된 출력 레이어를 통해 개별 행동 구성 요소를 모델링한다.

실험 결과

연구 질문

• RQ1 행동 공간을 독립적 구성요소로 분해하면 이산 제어 과제에서 샘플 효율성과 학습 성능이 향상되는가?
• RQ2 단일 행동 실행 중에 여러 행동 요소를 동시에 학습시키면 더 강건한 정책이 도출되는가?
• RQ3 기존의 엔드 투 엔드 DRL에 비해 인수 분해된 정책 표현 방식은 일반화 능력과 강건성 측면에서 어떻게 비교되는가?
• RQ4 예를 들어 Atari에서와 같이 조합적 행동 공간의 구조는 DRL에서 아키텍처적 분해를 얼마나 유의미하게 향상시키는가?
• RQ5 제안된 프레임워크는 A3C나 AQL과 같은 기존 DRL 알고리즘과 효과적으로 통합될 수 있는가?

주요 결과

• FARA3C는 14개의 Atari 2600 게임 중 9개에서 A3C를 능가하여 뚜렷한 성능 향상을 보였다.
• FARAQL은 13개의 Atari 2600 게임 중 9개에서 AQL를 능가하여 학습 효율성이 향상됨을 시사한다.
• FARA3C 정책은 정책 손상에 더 강건하여 무작위 행동 주입(ε = 0.5) 상황에서도 성능 저하가 더 적었다.
• FARA3C 에이전트는 온도 Z를 1.0에서 3.0으로 증가시키는 노이즈 주입 상황에서도 높은 성능을 유지하여 뛰어난 강건성을 보였다.
• 인수 분해된 정책 표현은 단일 행동 실행 중에 여러 행동(예: 위, 왼쪽, 대각선)을 동시에 학습할 수 있게 해준다.
• 학습 곡선을 통해 모든 평가된 게임에서 일관된 향상이 관찰되었으며, FARA3C와 FARAQL는 더 빠른 수렴과 더 높은 점차적 성능를 달성했다.