[논문 리뷰] Sample-efficient Deep Reinforcement Learning for Dialog Control

Kavosh Asadi, J. D. Williams|arXiv (Cornell University)|2016. 12. 18.

Reinforcement Learning in Robotics참고 문헌 12인용 수 10

한 줄 요약

이 논문은 순환 신경망(RNN)을 사용한 대화 제어를 위한 세 가지 샘플 효율적인 딥 강화학습 방법을 제안한다. 정책 그래เดียน트 분산을 줄이기 위해 가치 네트워크를 도입하고, 정책 네트워크와 가치 네트워크 양쪽에 경험 재생을 적용함으로써, 표준 정책 그래디언트 방법 대비 약 1/3 감소된 대화 횟수로 성능에 도달할 수 있으며, 부분 관측 가능한 대화 및 완전 관측 가능한 Lunar Lander 작업 모두에서 일관된 성능 향상을 보였다.

ABSTRACT

Representing a dialog policy as a recurrent neural network (RNN) is attractive because it handles partial observability, infers a latent representation of state, and can be optimized with supervised learning (SL) or reinforcement learning (RL). For RL, a policy gradient approach is natural, but is sample inefficient. In this paper, we present 3 methods for reducing the number of dialogs required to optimize an RNN-based dialog policy with RL. The key idea is to maintain a second RNN which predicts the value of the current policy, and to apply experience replay to both networks. On two tasks, these methods reduce the number of dialogs/episodes required by about a third, vs. standard policy gradient methods.

연구 동기 및 목표

• 대화 상호작용이 비용이 많이 드는 상황에서 딥 강화학습을 통한 대화 정책 최적화의 샘플 효율성을 향상시키기 위해.
• RNN 기반 대화 정책을 학습할 때 표준 정책 그래디언트 방법의 높은 분산과 샘플 비효율성 문제를 해결하기 위해.
• 가치 함수 추정과 경험 재생을 활용해 더 적은 에피소드로 RNN 정책을 효과적으로 학습할 수 있도록 하기 위해.
• 일반화 능력을 평가하기 위해 부분 관측 가능한 대화 작업과 완전 관측 가능한 제어 작업(Lunar Lander) 모두에서 방법을 평가하기 위해.
• 다양한 네트워크 아키텍처, 최적화 기법, 작업 유형에 걸쳐도 방법이 효과적으로 유지되는지 확인하기 위해.

제안 방법

• 각 은닉 상태 $\mathbf{h}_t$ 에서의 기대 수익을 추정하기 위해 가치 네트워크 $\hat{V}(\mathbf{h}_t, \mathbf{w})$ 를 도입하여, 정책 업데이트 시 그래디언트 분산을 줄이기 위한 상태 기반 기준선으로 사용한다.
• 정책 네트워크와 가치 네트워크 양쪽에 경험 재생을 적용함으로써, 각 에피소드당 다수의 그래디언트 업데이트를 가능하게 하고 데이터 효율성을 향상시킨다.
• 행동 정책 $\mu$ 에서 유래한 비i.i.d. 데이터를 다룰 수 있도록, 중요도 샘플링 비율 $\rho_t = \pi(a_t|\mathbf{h}_t)/\mu(a_t|\mathbf{h}_t)$ 를 통한 오프-폴리시 업데이트를 적용한다.
• 이중 스트림 학습 프로세스를 사용한다: 정책 네트워크에는 온-폴리시 업데이트를, 가치 네트워크에는 오프-폴리시 업데이트를 적용하며, 각 온-폴리시 업데이트 당 다수의 오프-폴리시 업데이트를 수행한다.
• 스토캐스틱 그래디언트 하강법을 사용하며, 최적화 기법은 작업에 맞게 조정된 Adadelta(대화용), Adam(Lunar Lander용)를 사용하고 배치 크기를 작업에 맞게 최적화한다.
• RNN 아키텍처(LSTM 또는 GRU)를 사용하여 정책 및 가치 함수를 모델링함으로써, 대화 설정에서의 부분 관측 문제를 처리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 가치 네트워크는 RNN 기반 대화 정책의 정책 그래디언트 학습 샘플 복잡도를 줄일 수 있는가?
• RQ2 정책 네트워크와 가치 네트워크 양쪽에 경험 재생을 적용했을 때 샘플 효율성이 얼마나 향상되는가?
• RQ3 Lunar Lander와 같은 비대화, 완전 관측 가능한 RL 작업에서 제안된 방법의 성능은 어떠한가? 이는 일반화 잠재력의 근거가 된다.
• RQ4 네트워크 아키텍처, 활성화 함수, 최적화 기법을 변경해도 성능 향상이 유지되는가?
• RQ5 표준 온-폴리시 정책 그래디언트 방법 대비 학습 분산을 줄이고 수렴 속도를 높일 수 있는가?

주요 결과

• 제안된 방법은 대화 제어 작업에서 표준 온-폴리시 정책 그래디언트 방법 대비 약 1/3 감소된 대화 횟수로 점 渐진 성능에 도달했다.
• 200회의 독립적인 실행에서 임계 성능 도달 시 작업 성공률의 분산이 낮아져 더 안정적인 학습을 보였다.
• Lunar Lander 작업에서 동일한 샘플 효율성 향상이 관찰되어, 다양한 환경와 네트워크 아키텍처에서의 강건성을 확인했다.
• 가치 네트워크를 기준선으로 사용함으로써 그래디언트 분산이 크게 감소하였고, 이는 더 빠르고 안정적인 수렴을 이끌었다.
• 경험 재생을 통해 각 에피소드당 다수의 그래디언트 업데이트가 가능해져 데이터 효율성이 향상되었고, 새로운 상호작용의 필요성이 감소했다.
• 다양한 최적화 기법(Adadelta 대비 Adam), 활성화 함수(ReLU), 네트워크 설계에 걸쳐도 일반화가 잘 되었으며, 넓은 적용 가능성을 시사했다.