[논문 리뷰] Dueling Network Architectures for Deep Reinforcement Learning

Ziyu Wang, Tom Schaul외 4명|arXiv (Cornell University)|2015. 11. 20.

Reinforcement Learning in Robotics참고 문헌 23인용 수 1,813

한 줄 요약

이 논문은 깊이 강화학습을 위한 듀얼링 네트워크 아키텍처를 소개한다. 이 아키텍처는 상태 가치 함수 $V(s)$와 행동 우월도 함수 $A(s,a)$를 공유하는 공통 특징 인코더를 가진 별도의 스트림으로 분리한다. 이 스트림들을 조합하여 $Q(s,a) = V(s) + \left(A(s,a) - \frac{1}{|\mathcal{A}|}\sum_{a'} A(s,a')\right)$를 생성함으로써, 특히 동일한 가치를 가진 행동이 많은 환경에서 더 효율적이고 안정적인 학습을 가능하게 한다. 우선순위 경험 재생과 결합할 경우, 아케이드 2600 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

In recent years there have been many successes of using deep representations in reinforcement learning. Still, many of these applications use conventional architectures, such as convolutional networks, LSTMs, or auto-encoders. In this paper, we present a new neural network architecture for model-free reinforcement learning. Our dueling network represents two separate estimators: one for the state value function and one for the state-dependent action advantage function. The main benefit of this factoring is to generalize learning across actions without imposing any change to the underlying reinforcement learning algorithm. Our results show that this architecture leads to better policy evaluation in the presence of many similar-valued actions. Moreover, the dueling architecture enables our RL agent to outperform the state-of-the-art on the Atari 2600 domain.

연구 동기 및 목표

• 상태 가치 함수와 행동 우월도 함수의 추정을 분리함으로써 딥 강화학습에서 정책 평가를 향상시키기 위해.
• 특히 동일하거나 중복된 행동이 많은 상태에서 행동 간 효율적인 학습을 가능하게 하기 위해.
• 기본 강화학습 알고리즘을 수정하지 않고도 행동 간 일반화 능력이 뛰어난 신경망 아키텍처를 설계하기 위해.
• 기존의 단일 스트림 Q-네트워크보다 아케이드 2600 강화학습 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 듀얼링 아키텍처는 두 개의 병렬 스트림을 사용한다: 하나는 상태 가치 함수 $V(s)$를 추정하고, 다른 하나는 상태-행동 우월도 함수 $A(s,a)$를 추정한다.
• 두 스트림은 원시 관측치로부터 공통된 컨볼루션 특징 추출 모듈을 공유하여 공통된 표현을 학습한다.
• 최종 $Q$-값은 $Q(s,a) = V(s) + \left(A(s,a) - \frac{1}{|\mathcal{A}|}\sum_{a'} A(s,a')\right)$를 통해 계산되며, 이는 우월도가 평균 행동 우월도에 대해 정규화됨을 보장한다.
• 학습은 경험 재생과 타겟 네트워크를 사용하는 표준 딥 Q-러닝을 통해 수행되며, 학습 알고리즘에 대한 수정이 필요하지 않다.
• 주의 메커니즘을 시각화하기 위해 입력 프레임에 대한 가치 스트림과 우월도 스트림의 야코비안을 사용해 시각화 지도를 계산한다.
• 듀얼링 아키텍처는 우선순위 경험 재생과 기울기 클리핑을 결합하여 샘플 효율성과 학습 안정성을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 Q-네트워크에서 가치 함수와 우월도 함수를 분리하면 더 안정적이고 효율적인 정책 평가가 가능할까?
• RQ2 많은 수의 행동이 존재하는 환경, 특히 행동 가치가 유사한 경우 듀얼링 아키텍처가 학습 성능을 향상시키는가?
• RQ3 기본 강화학습 알고리즘을 수정하지 않고도 듀얼링 아키텍처가 행동 간 일반화 능력을 갖출 수 있는가?
• RQ4 아케이드 2600 벤치마크에서 표준 단일 스트림 Q-네트워크와 비교해 듀얼링 아키텍처는 샘플 효율성과 최종 성능 측면에서 어떻게 다른가?

주요 결과

• 유사한 가치를 가진 행동이 많은 환경에서 듀얼링 아키텍처는 정책 평가를 크게 향상시켜, 작은 가치 차이로 인한 불안정성을 줄인다.
• 우선순위 경험 재생과 결합했을 때, 아케이드 2600 벤치마크의 57개 게임에서 평균 인간 성능 점수는 591%이며 중앙값은 172%를 기록한다.
• 시각화 지도에서는 가치 스트림이 장기적인 상태 관련 특징(예: 도로의 수평선과 점수)에 집중하는 반면, 우월도 스트림은 행동이 즉각적인 영향을 미칠 때만 활성화된다(예: 엔드로에서 가까운 차량).
• 듀얼링 네트워크는 단일 스트림 DQN 베이스라인과 우선순위 DQN 베이스라인을 모두 능가하며, 아케이드 2600 영역에서 새로운 최신 기술 성능을 확립한다.
• 가치 스트림이 자주 업데이트되어 $V(s)$의 보다 우수한 근사치를 제공함으로써, 시간 차분 학습의 안정성이 향상된다.
• 듀얼링 네트워크와 우선순위 재생, 기울기 클리핑의 조합은 성능 향상을 크게 이끌어내며, 행동 Q-값의 노이즈 또는 작은 값의 차이에 대해서도 강인함을 보인다.