[논문 리뷰] The Potential of the Return Distribution for Exploration in RL

Thomas M. Moerland, Joost Broekens외 1명|arXiv (Cornell University)|2018. 06. 11.

Reinforcement Learning in Robotics참고 문헌 23인용 수 6

한 줄 요약

이 논문은 딥 강화 학습에서 탐색을 위한 근거로 수익 분포—특히 그 분산과 형태—를 사용하는 것을 제안한다. 가우시안, 순서형, 가우시안 혼합 분포를 활용하여 탐색을 이끌어낸다. 수익 기반의 불확실성은 신경망을 사용할 때 이전에 해결되지 않았던 100단계 랜덤 체인 작업을 해결할 수 있음을 보여주며, 분포가 좁아짐에 따라 자연스럽게 탐색에서 이용으로의 전환이 일어남을 보여준다.

ABSTRACT

This paper studies the potential of the return distribution for exploration in deterministic reinforcement learning (RL) environments. We study network losses and propagation mechanisms for Gaussian, Categorical and Gaussian mixture distributions. Combined with exploration policies that leverage this return distribution, we solve, for example, a randomized Chain task of length 100, which has not been reported before when learning with neural networks.

연구 동기 및 목표

• 완전한 수익 분포를 모델링하는 것이 결정론적 딥 강화 학습 환경에서 탐색을 향상시킬 수 있는지 조사하기.
• 특히 분산과 형태에 해당하는 수익 분포의 불확실성이 더 나은 탐색 전략을 이끌어내는 방식을 탐색하기.
• 어려운 순차적 의사결정 과제에서 탐색을 가능하게 하는 다양한 수익 분포의 매개변수화 방식(Gaussian, 순서형, 가우시안 혼합)의 효과를 평가하기.
• 수익 기반 탐색이 이전까지 신경망을 사용해 달성하지 못했던 100단계 랜덤 체인 작업을 해결할 수 있음을 보여주기.
• 학습 과정에서 수익 분포가 좁아짐에 따라 탐색에서 이용으로의 동적 전환이 어떻게 일어나는지 시각화하고 분석하기.

제안 방법

• 논문은 세 가지 매개변수화된 형태인 가우시안, 순서형(Bellemare 등, 2017년 참조), 가우시안 혼합 분포를 사용하여 수익 분포 $ p_{\phi}(Z|s,a) $ 를 모델링한다.
• 분포 기반 벨만 방정식을 반복적으로 적용하여 MDP를 통해 수익 분포를 전파하며, 역전파를 통해 평균과 분산(또는 혼합 성분)을 업데이트한다.
• 손실 함수로는 순서형 분포에는 교차 엔트로피, 가우시안 출력에는 가우시안 로그우도, 가우시안 혼합에는 특화된 손실을 사용하며, 기울기 폭주를 방지하기 위해 기울기 클리핑을 적용한다.
• 탐색은 수익 분포의 불확실성에 기반한다: 정책은 수익 분포의 상단 꼬리(upper tail)를 최대화하는 행동을 선택하거나, 분포 매개변수에 대해 톰슨 샘플링을 사용하여 낙관적으로 행동한다.
• 온폴리시 롤아웃과 오프폴리시 리플레이 경험을 결합하며, 리플레이 버퍼 크기는 50,000이며, 미니배치 SGD와 Adam 최적화를 사용한다.
• 이 방법은 초기 설정 시 최적 행동이 무작위로 할당되어 구조적 편향을 방지하는 100단계 랜덤 체인 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 완전한 수익 분포를 모델링하는 것이 결정론적 딥 강화 학습 환경에서 탐색을 향상시킬 수 있는가?
• RQ2 수익 분포의 형태와 분산이 평균 기반 Q-값 탐색과 비교해 더 나은 탐색을 어떻게 이끌어내는가?
• RQ3 수익 분포 기반 탐색이 신경망 기반 RL에서 어려운 것으로 알려진 100단계 랜덤 체인 작업을 해결할 수 있는가?
• RQ4 수익 분포가 좁아짐에 따라 수익 기반 탐색이 자연스럽게 탐색에서 이용으로의 전환을 어떻게 이끌어내는가?
• RQ5 다양한 매개변수화된 수익 분포(Gaussian, 순서형, 가우시안 혼합)의 성능과 안정성은 어떻게 비교되는가?

주요 결과

• 제안된 수익 분포 기반 탐색 방법은 이전까지 신경망을 사용해 해결되지 못했던 100단계 랜덤 체인 작업을 성공적으로 해결하였다.
• 수익 분포는 초기에는 넓고 균일한 분포에서 수렴 단계에 이르러 날카롭게 뾰족한, 결정론적인 정책으로 변화하며, 자연스럽게 탐색에서 이용으로의 전환이 일어남을 보여준다.
• 체인 작업에서는 올바른 행동들이 점차적으로 종료값 1로 향하는 수익 질량을 후행하며, 68번째 에피소드 이후에는 최종 정책가 항상 최적 행동을 선택함을 확인하였다.
• 톰슨 샘플링과 UCB 기반 탐색이 수익 분포를 기반으로 하여 표준 $ε$-greedy 방법보다 더 빠른 수렴과 더 일관된 정책 학습을 이끌어냈다.
• 가우시안 혼합 및 순서형 분포는 안정적인 학습 동역학을 보였으며, 가우시안 케이스는 로그우도 기울기로 인한 최적화 불안정성을 방지하기 위해 기울기 클리핑이 필요하였다.
• 시각화 결과, 수익 분포의 불확실성—특히 초기 단계에서—은 넓고 탐색적인 정책을 유도하는 것으로 확인되었으며, 후속 단계에서의 좁아짐은 최적 행동에 대한 자신감을 나타내었다.