[논문 리뷰] Deep Reinforcement Learning

Yuxi Li|arXiv (Cornell University)|2018. 10. 15.

Blockchain Technology Applications and Security인용 수 25

한 줄 요약

이 종합적 서베이는 딥 레이어닝 강화학습(딥 RL)의 핵심 요소, 메커니즘, 응용 분야를 통합된 프레임워크로 정리하여 종합적으로 개괄한다. 딥 레이어닝 강화학습을 딥 레이어닝과 강화학습을 융합한 전환적 패러다임으로 제시하며, 게임 플레이, 로봇공학, 자연어처리(NLP) 분야에서의 돌풍을 일으킨 성과를 강조한다. 주요 기여는 알고리즘 설계, 계층적 및 다중 에이전트 시스템, 학습-학습 접근법 분야에서 이루어졌다.

ABSTRACT

We discuss deep reinforcement learning in an overview style. We draw a big picture, filled with details. We discuss six core elements, six important mechanisms, and twelve applications, focusing on contemporary work, and in historical contexts. We start with background of artificial intelligence, machine learning, deep learning, and reinforcement learning (RL), with resources. Next we discuss RL core elements, including value function, policy, reward, model, exploration vs. exploitation, and representation. Then we discuss important mechanisms for RL, including attention and memory, unsupervised learning, hierarchical RL, multi-agent RL, relational RL, and learning to learn. After that, we discuss RL applications, including games, robotics, natural language processing (NLP), computer vision, finance, business management, healthcare, education, energy, transportation, computer systems, and, science, engineering, and art. Finally we summarize briefly, discuss challenges and opportunities, and close with an epilogue.

연구 동기 및 목표

• 인공지능 및 기계학습의 광범위한 맥락 속에서 딥 레이어닝 강화학습(딥 RL)에 대한 체계적이고 종합적인 개요를 제공하는 것.
• 딥 레이어닝 프레임워크 내에서 강화학습의 여섯 핵심 요소—가치 함수, 정책, 보상, 모델, 탐색 대 활용, 표현—을 식별하고 설명하는 것.
• 딥 RL의 여섯 가지 핵심 메커니즘—주의 및 기억, 비지도 학습, 계층적 강화학습, 다중 에이전트 강화학습, 관계 기반 강화학습, 메타학습(학습-학습)—을 분석하는 것.
• 게임, 로봇공학, 자연어처리(NLP), 컴퓨터 비전, 헬스케어, 금융, 과학 등 12개 주요 응용 분야를 조사하여 딥 RL의 다학제적 영향을 입증하는 것.
• 특히 알고리즘의 강건성, 실세계 적용, 사회적 영향을 고려할 때의 열린 과제와 향후 기회를 규명하는 것.

제안 방법

• 딥 신경망을 함수 근사기로 활용하면서, 가치 함수, 정책, 보상, 모델, 탐색 대 활용, 표현의 여섯 핵심 요소를 통해 딥 RL을 체계적으로 분류한다.
• 주의 및 기억, 비지도 표현 학습, 계층적 강화학습, 다중 에이전트 강화학습, 관계 기반 강화학습, 메타학습의 여섯 가지 지원 메커니즘을 도입하고 분석한다.
• 순차적 의사결정 문제를 해결하기 위해 딥 Q네트워크(DQN), 분포가치 함수, 액터-크리틱 방법, 신뢰 영역 정책 최적화(TRPO) 등의 딥 RL 기법을 적용한다.
• 알파고와 알파제로에서처럼, 몬테카를로 트리 탐색(MCTS)과 딥 네트워크를 조합하여 복잡한 전략적 환경을 해결한다.
• 벤치마크 환경과 실제 응용(예: 아케이드 게임, 로봇 제어, 게임 플레이)을 활용하여 알고리즘 성능과 일반화 능력을 검증한다.
• 학습-학습 패러다임, 예를 들어 메타-RL, 소수의 샘플 학습, 자동 하이퍼파rameter 최적화(AutoML)를 통합하여 샘플 효율성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 신경망은 강화학습에서 가치 함수 근사 및 정책 학습을 어떻게 향상시키는가?
• RQ2 주의, 기억, 또는 메타학습과 같은 메커니즘은 딥 RL 에이전트가 다양한 작업과 환경 간에 일반화할 수 있도록 어떻게 도와주는가?
• RQ3 계층적 및 다중 에이전트 강화학습 아키텍처는 복잡한 환경에서 샘플 효율성과 확장성 면에서 어떻게 향상되는가?
• RQ4 관계 기반 및 비지도 학습 구성 요소는 딥 RL 시스템의 추론과 표현 능력을 어떻게 향상시키는가?
• RQ5 아케이드, 고, 포커와 같은 게임에서의 돌풍을 일으킨 주요 알고리즘적 및 아키텍처 혁신은 무엇인가?

주요 결과

• 딥 Q네트워크(DQN)는 아케이드 게임에서 인간 수준의 성능을 달성하는 데 성공한 기초적인 딥 RL 알고리즘을 확립했다.
• 알파고와 알파제로는 딥 레이어닝, 몬테카를로 트리 탐색(MCTS), 자가대전을 조합함으로써 완전 정보 게임인 고와 체스에서 초인적 성능을 달성했다.
• 딥스택은 한정 없는 포커에서 인간 수준의 성능을 달성하여, 딥 RL이 은폐 상태가 있는 불완전 정보, 확률적 게임을 해결할 수 있음을 입증했다.
• 계층적 및 다중 에이전트 강화학습 프레임워크는 로봇 조작 및 전략적 게임 플레이와 같은 복잡하고 장기적인 과제에서 샘플 효율성과 확장성을 크게 향상시켰다.
• 메타학습 및 학습-최적화 기법은 최소한의 데이터로 새로운 과제에 신속하게 적응할 수 있도록 하여, 소수의 샘플 및 제로 샘플 강화학습 능력을 발전시켰다.
• 딥 RL은 헬스케어(치료 계획), 에너지(스마트 그라이드), 교통(자율 주행), 과학적 발견(단백질 접힘) 등 다양한 분야에서 강력한 잠재력을 보였지만, 광범위한 상용화는 아직 제한되어 있다.