[논문 리뷰] The Bottleneck Simulator: A Model-based Deep Reinforcement Learning Approach

Iulian Vlad Serban, Chinnadhurai Sankar외 3명|arXiv (Cornell University)|2018. 07. 12.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

Bottleneck Simulator는 환경 전이 모델을 인코딩하기 위해 학습된 이산적인 추상 상태(버팀목)를 사용하는 모델 기반 딥 강화학습 방법으로, 표본 효율성을 향상시킨다. 이는 구조적 사전 지식과 효율적인 롤아웃 시뮬레이션을 활용하여 소수의 예시로도 텍스트 어드벤처 및 실제 대화 응답 선택 작업에서 경쟁 방법들을 능가한다.

ABSTRACT

Deep reinforcement learning has recently shown many impressive successes. However, one major obstacle towards applying such methods to real-world problems is their lack of data-efficiency. To this end, we propose the Bottleneck Simulator: a model-based reinforcement learning method which combines a learned, factorized transition model of the environment with rollout simulations to learn an effective policy from few examples. The learned transition model employs an abstract, discrete (bottleneck) state, which increases sample efficiency by reducing the number of model parameters and by exploiting structural properties of the environment. We provide a mathematical analysis of the Bottleneck Simulator in terms of fixed points of the learned policy, which reveals how performance is affected by four distinct sources of error: an error related to the abstract space structure, an error related to the transition model estimation variance, an error related to the transition model estimation bias, and an error related to the transition model class bias. Finally, we evaluate the Bottleneck Simulator on two natural language processing tasks: a text adventure game and a real-world, complex dialogue response selection task. On both tasks, the Bottleneck Simulator yields excellent performance beating competing approaches.

연구 동기 및 목표

• 실제 응용 분야에서 딥 강화학습의 데이터 효율성 부족 문제를 해결한다.
• 이산적인 버팀목 상태를 갖는 인코딩된 전이 모델을 학습하여 표본 효율성을 향상시킨다.
• 모델 기반 롤아웃과 고차원 상태 표현을 조합하여 소수의 예시로부터 효과적인 정책 학습을 가능하게 한다.
• 추상화된 MDP에서 정책 오차의 원인을 수학적으로 분석한다.
• 대화 응답 선택 및 텍스트 어드벤처 게임과 같은 복잡한 실제 NLP 작업에서의 효과성을 입증한다.

제안 방법

• Bottleneck Simulator는 상태를 이산적인 추상(버팀목) 상태로 매핑하여 모델 복잡도를 감소시키는 인코딩된 전이 모델을 학습한다.
• 이 방법은 이산적인 추상 상태 공간을 정보 버팀목으로 사용하여 전체 세계 상태 간의 전이를 중개한다.
• 학습된 추상 전이 모델 기반의 롤아웃 시뮬레이션을 사용하여 Q-학습을 통해 정책을 훈련한다.
• 추상 상태 표현은 예측 정확도가 아닌 정책 성능 향상을 위해 함께 최적화된다.
• 이 접근법은 정책 네트워크가 전체 고차원 상태에서 작동하면서도 모델 내 추상화의 이점을 누릴 수 있도록 한다.
• 고정점 분석을 통해 정책 오차의 이론적 경계를 제공하며, 이를 네 가지 오차 원인으로 분해한다: 구조적 불일치, 추정 분산, 추정 편향, 모델 클래스 편향.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습을 어떻게 더 데이터 효율적으로 만들 수 있는가? 특히 실제 응용 분야의 낮은 데이터 NLP 작업에 대해.
• RQ2 이산적인 추상 상태를 버팀목으로 사용할 경우 정책 학습에서 표본 효율성이 얼마나 향상되는가?
• RQ3 다양한 오차 원인—구조적 오차, 분산 오차, 편향 오차, 클래스 편향 오차—는 학습된 정책의 성능에 어떤 영향을 미치는가?
• RQ4 Bottleneck Simulator는 복잡한 실제 대화 및 텍스트 기반 작업에서 모델 자유형 및 다른 모델 기반 강화학습 방법을 능가할 수 있는가?
• RQ5 추상 상태 공간에 도메인 특화 구조 지식을 통합할 경우 성능에 어떤 영향을 미치는가?

주요 결과

• Bottleneck Simulator는 텍스트 어드벤처 게임에서 최신 기준 성능을 달성하였으며, 훨씬 적은 훈련 예시로도 경쟁하는 모델 자유형 및 모델 기반 방법들을 능가하였다.
• 실제 복잡한 대화 응답 선택 작업에서, Bottleneck Simulator는 모델 자유형 DQN 및 오프-폴리시 방법을 포함한 강력한 베이스라인을 초월하였다. 인간 선호 데이터가 제한된 조건에서도 성능이 뛰어났다.
• 이 방법은 뛰어난 일반화 능력과 표본 효율성을 보였으며, 단 몇백 개의 예시로도 높은 성능을 달성하였다.
• 고정점 분석을 통해 구조적 불일치와 모델 클래스 편향이 주요 오차 원인임을 밝혀내어 의미 있는 추상화 설계의 중요성을 강조하였다.
• 정성적 분석 결과, 학습된 추상 상태 구조가 게임 목표나 대화 목표와 같은 작업 관련 의미적 개념과 잘 일치하는 것으로 나타났다.
• 정책가 전체 상태에 액세스할 수 있기 때문에, 추상 상태 공간이 진짜 환경의 구조와 완벽하게 일치하지 않더라도 효과적인 정책 학습이 가능했다.