[논문 리뷰] Action Branching Architectures for Deep Reinforcement Learning

Arash Tavakoli, Fabio Pardo외 1명|arXiv (Cornell University)|2017. 11. 24.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 각 행동 차원에 대해 개별 네트워크 브랜치로 정책 또는 가치 함수 표현을 분할하면서도 중심 결정 모듈을 공유하는 행동 분기 신경망 아키텍처를 제안한다. 이는 이산 강화학습을 고차원 행동 공간으로 효율적으로 확장할 수 있도록 하며, 행동 차원에 따라 네트워크 출력이 선형적으로 증가하고, 6.5×10²⁵ 조합적 행동 공간 작업에서 DDPG를 능가한다.

ABSTRACT

Discrete-action algorithms have been central to numerous recent successes of deep reinforcement learning. However, applying these algorithms to high-dimensional action tasks requires tackling the combinatorial increase of the number of possible actions with the number of action dimensions. This problem is further exacerbated for continuous-action tasks that require fine control of actions via discretization. In this paper, we propose a novel neural architecture featuring a shared decision module followed by several network branches, one for each action dimension. This approach achieves a linear increase of the number of network outputs with the number of degrees of freedom by allowing a level of independence for each individual action dimension. To illustrate the approach, we present a novel agent, called Branching Dueling Q-Network (BDQ), as a branching variant of the Dueling Double Deep Q-Network (Dueling DDQN). We evaluate the performance of our agent on a set of challenging continuous control tasks. The empirical results show that the proposed agent scales gracefully to environments with increasing action dimensionality and indicate the significance of the shared decision module in coordination of the distributed action branches. Furthermore, we show that the proposed agent performs competitively against a state-of-the-art continuous control algorithm, Deep Deterministic Policy Gradient (DDPG).

연구 동기 및 목표

• 이산 행동 강화학습에서 행동 공간의 조합 폭발 문제를 해결하여 고차원 작업으로의 확장성 향상
• 특히 연속 행동이 이산화된 경우에 발생하는 큰 이산 행동 공간 탐색의 비가역성 문제를 구조적 신경망 아키텍처로 극복
• Dueling DQN과 같은 샘플 효율적이고 오프-폴리시 이산 알고리즘을 고차원 행동 공간을 가진 연속 제어 도메인에서 사용 가능하게 함
• 공유된 결정 모듈이 독립적인 행동 브랜치 간의 비정상성과 열악한 협업으로 인한 정책 붕괴를 방지하는 데 기여하는 방식을 탐구
• 행동 분기 아키텍처가 이전에 이러한 방법에 비해 비가역적이라 여겨졌던 행동 공간으로까지 이산 알고리즘이 확장될 수 있음을 입증

제안 방법

• 공유된 특징 인코더와 그 다음에 오는 다수의 독립 브랜치로 구성된 신경망 아키텍처를 제안하며, 각 브랜치는 하나의 행동 차원을 담당
• 각 브랜치 내부에서 듀얼링 네트워크 구조를 사용하여 상태 가치와 이점 값을 독립적으로 추정함으로써 가치 함수 근사 향상
• 행동 브랜치 간의 조율을 가능하게 하기 위해 잠재 상태 표현을 생성하는 공유된 결정 모듈을 도입
• 지속적인 환경에서의 수명 주기 탐색을 장려하기 위해 BDQ에 고정 표준편차(σ=0.2)를 가진 가우시안 탐색 전략 적용
• 샘플 효율성과 학습 안정성 향상을 위해 β를 감쇠시키는 우선순위 경험 재생 사용 및 α=0.6 설정
• Adam 옵timizer, ReLU 활성화 함수, Xavier 가중치 초기화, 기울기 클리핑(L2 노름 ≤10)을 사용하며, 타겟 네트워크는 매 1000단계마다 갱신

실험 결과

연구 질문

• RQ1 분기 네트워크를 통해 행동 차원 제어를 분리하는 신경망 아키텍처가 고차원 이산 또는 연속 행동 공간에서 효율적인 학습을 가능하게 하는가?
• RQ2 공유된 결정 모듈이 행동 차원 간에 완전히 독립된 네트워크와 비교해 성능에 어떤 영향을 미치는가?
• RQ3 Dueling DQN과 같은 이산 행동 강화학습 알고리즘이 행동 분기 기법을 통해 조합적으로 큰 행동 공간으로까지 확장 가능한가?
• RQ4 제안된 아키텍처가 고차원 제어 작업에서 최신 기술인 DDPG와 비교해 우월한 성능을 보이는가?
• RQ5 제안된 분기 아키텍처에서 탐색 전략(Gaussian vs. ε-greedy)의 성능에 미치는 영향은 어떠한가?

주요 결과

• 분기 듀얼링 Q-네트워크(BDQ)는 약 6.5×10²⁵ 튜플로 이루어진 이산화된 행동 공간을 가진 환경으로까지 성공적으로 확장되었으며, 이는 이전에 이산 알고리즘에 비해 비가역적이라 여겨졌던 영역이다.
• BDQ는 벤치마크 세트에서 가장 도전적인 연속 제어 작업에서 딥 디터미니스틱 정책 기반 강화학습(DDPG) 알고리즘을 능가한다.
• 공유된 결정 모듈이 없는 독립 듀얼링 Q-네트워크(IDQ)는 행동 차원이 증가할수록 급격히 성능이 악화되며, 브랜치 간의 협업 부족을 보여준다.
• 공유된 결정 모듈은 성능에 핵심적인 역할을 하며, IDQ의 실패는 독립 네트워크에서의 비정상성과 협업 부족으로 인한 위험을 입증한다.
• Gaussian 탐색(σ=0.2)을 사용한 BDQ는 ε-greedy 정책보다 더 높은 성능을 보이며, 물리적 제어 도메인에서는 연속적 탐색이 더 효과적임을 시사한다.
• 이 아키텍처는 행동 차원에 따라 네트워크 출력이 선형적으로 증가하는 방식을 허용하여, 기존의 표준 이산 행동 방법에서 나타나는 조합 폭발을 피한다.