[논문 리뷰] Variational Deep Q Network

Yunhao Tang, Alp Kucukelbir|arXiv (Cornell University)|2017. 11. 30.

Reinforcement Learning in Robotics참고 문헌 20인용 수 8

한 줄 요약

이 논문은 변분 추론을 사용하여 가치 함수 파라미터를 확률 분포로 모델링함으로써 효율적이고 체계적인 탐색을 가능하게 하는 강화학습 프레임워크인 변분 딥 Q 네트워크(Variational Deep Q Network, VDQN)를 제안한다. 유사한 변분 추론 손실과 동치인 서브티튜트 목표함수를 최적화함으로써, VDQN은 DQN의 ε-그리디 및 NoisyNet에 비해 대규모 체인 MDP에서 안정적이고 뛰어난 성능을 달성한다.

ABSTRACT

We propose a framework that directly tackles the probability distribution of the value function parameters in Deep Q Network (DQN), with powerful variational inference subroutines to approximate the posterior of the parameters. We will establish the equivalence between our proposed surrogate objective and variational inference loss. Our new algorithm achieves efficient exploration and performs well on large scale chain Markov Decision Process (MDP).

연구 동기 및 목표

• 기본적인 탐색 전략인 ε-그리디 및 행동공간 노이즈의 한계를 해결하기 위해, 체계적인 탐색이 필요한 어려운 환경에서 효과적으로 작동하지 않는 문제를 해결한다.
• 변분 추론을 사용하여 가치 함수 파라미터의 불확실성을 명시적으로 모델링함으로써 그 사후 분포를 근사한다.
• 벨만 오차와 엔트로피 정규화를 조합한 서브티튜트 목표함수를 개발하여, 파라미터 공간의 랜덤화를 통해 효율적 탐색을 가능하게 한다.
• 제안된 목표함수와 변분 추론 손실 간의 이론적 동치성을 확립함으로써, 흑상자 변분 추론을 사용한 훈련이 가능해진다.
• 희소 보상 환경인 대규모 체인 MDP에서 수렴 성능을 향상시키고 조기 수렴을 방지한다.

제안 방법

• 방법론은 가치 함수 파라미터 θ를 변분 사후 분포 qϕ(θ)를 가진 랜덤 변수로 모델링하여, 진짜 사후 분포 p(θ|D)를 변분 추론을 통해 근사한다.
• 수학적으로 변분 추론 손실과 동치인 서브티튜트 목표함수가 유도되며, 이는 벨만 오차와 파라미터 분포의 엔트로피 항을 조합한다.
• 이 목표함수는 확률적 경사 하강법을 사용하여 최적화되며, 블랙박스 변분 추론 서브루틴을 포함한 엔드 투 엔드 훈련이 가능해진다.
• 이 프레임워크는 근사 톰슨 샘플링으로 해석되며, 파라미터 사후 분포에서 샘플링함으로써 자연스럽게 탐색을 장려한다.
• 훈련 안정성을 위해 타겟 네트워크를 사용하여 파라미터를 천천히 갱신하며, DQN과 유사한 방식을 따른다.
• 파라미터 분포의 고엔트로피 유지로 인해, 부분 최적 정책로의 조기 수렴을 방지한다.

실험 결과

연구 질문

• RQ1 가치 함수 파라미터를 확률 분포로 모델링하는 것이 딥 강화학습에서 탐색 효율성을 향상시키는가?
• RQ2 제안된 서브티튜트 목표함수와 변분 추론 손실 간의 동치성이 희소 보상 환경에서 안정적이고 효과적인 훈련을 가능하게 하는가?
• RQ3 대규모 체인 MDP에서 VDQN은 ε-그리디 DQN 및 NoisyNet에 비해 수렴 속도와 성능 면에서 어떻게 비교되는가?
• RQ4 파라미터 분포의 고엔트로피가 장수명 작업에서 조기 수렴을 방지하고 체계적 탐색을 가능하게 하는가?
• RQ5 파라미터 분포의 불확실성은 체인 MDP에서 상태 방문 패턴과 정책 학습에 어떤 영향을 미치는가?

주요 결과

• N ≤ 70인 체인 MDP에서 VDQN은 평균적으로 500 에피소드(50 반복) 이내에 최적 정책으로 수렴하여 안정적이고 효율적인 학습을 보였다.
• N ≥ 100인 경우, VDQN은 시간이 지남에 따라 지속적인 향상을 보였지만, DQN과 NoisyNet은 수렴하지 못하거나 진동 행동을 보였다.
• N=32 체인 MDP에서 VDQN은 파라미터 공간의 랜덤화로 인해 모든 상태, 특히 가장 먼 상태 s_N까지도 높은 방문 확률을 유지했다.
• DQN은 ε-그리디 탐색의 부족한 추진력으로 s_{N/2}를 초월한 상태의 방문을 억제하여 s_1에서 국소 최적 정책으로 수렴했다.
• NoisyNet은 큰 N에 대해 더 느린 수렴과 진동을 보이며, 명시적 엔트로피 장려가 부족해 탐색이 불안정함을 보였다.
• 상태 방문 횟수 분석 결과, VDQN은 초기 훈련 단계에서도 전체 체인에 걸쳐 비영인 방문 확률을 유지함으로써 체계적 탐색을 가능하게 한다.