[논문 리뷰] Reinforcement Learning Applications

Yuxi Li|arXiv (Cornell University)|2019. 08. 19.

Reinforcement Learning in Robotics참고 문헌 70인용 수 45

한 줄 요약

RL의 기초와 실세계 응용에 대한 조사로, 추천 시스템, 컴퓨터 시스템, 에너지, 금융, 의료, 로봇 공학 및 교통 분야와 Horizon과 같은 적용 RL 플랫폼에 대한 강조점을 다룹니다.

ABSTRACT

We start with a brief introduction to reinforcement learning (RL), about its successful stories, basics, an example, issues, the ICML 2019 Workshop on RL for Real Life, how to use it, study material and an outlook. Then we discuss a selection of RL applications, including recommender systems, computer systems, energy, finance, healthcare, robotics, and transportation.

연구 동기 및 목표

• 여러 도메인에 걸친 강화 학습 소개 및 실용적 의의 제시.
• 배포 시의 실무 도전과 성공적인 RL 적용 사례 탐구.
• 산업 현장에서 RL 적용을 위한 프레임워크, 플랫폼 및 사례 연구 제시.
• RL 탐색을 위한 실무자용 주요 이슈, 가이드라인 및 자료 제공.

제안 방법

• 에이전트, 환경, 보상, 가치 함수, 정책 최적화 등 RL 개념에 대한 고수준 개요 제공.
• 모델 프리/모델 기반 RL 및 DQN, A3C, DDPG, TRPO, PPO, 소프트 액터-크리틱과 같은 심층 RL 알고리즘 설명.
• 탐색- exploitation 트레이드오프 및 시뮬레이션-현실 간 전이 등 RL 배포의 실용적 고려사항 설명.
• 대규모 실제 시스템에 RL을 적용하기 위한 아키텍처 패턴과 플랫폼(Decision Service, Horizon) 제시.
• 추천 시스템, 컴퓨터 시스템, 에너지, 금융, 의료, 로봇 공학, 교통 등 도메인을 통한 RL 적용 사례 제시.

실험 결과

연구 질문

• RQ1 현실 세계의 순차적 의사결정 문제에 적합한 핵심 RL 기법은 무엇인가?
• RQ2 부분 피드백과 지연 보상을 다루면서 대규모 생산 시스템(예: 추천 엔진, 데이터 센터)에 RL을 효과적으로 배포하려면 어떻게 해야 하는가?
• RQ3 적용 RL 개발 및 모니터링을 촉진하는 플랫폼과 모범 사례는 무엇인가?

주요 결과

• RL은 Atari 게임, AlphaGo, StarCraft II, Dota 2와 같은 문제는 물론 데이터 센터 냉각과 같은 실제 시스템에까지 광범위하게 적용되어 왔습니다.
• 맥락적 밴디트 및 정책 평가를 통해 부분적이고 지연된 피드백이 있는 추천형 설정에서 확장 가능한 실험이 가능해집니다.
• Horizon 및 Decision Service와 같은 오픈 소스 플랫폼은 데이터 전처리, 특징 정규화, 모델 학습, 평가 및 서빙에 이르는 종단 간 파이프라인을 제공합니다.
• 실세계 RL 배포는 CTR 향상(>25%), 콘텐츠/비디오 추천 이익(>30%), 수익 증가(18%), 대기 시간 감소(19%) 등의 의미 있는 개선을 달성할 수 있습니다.
• RL의 도전 과제로는 탐색 대 exploitation, 샘플 효율성, 크레딧 할당, 재현성, 안전성 등이 있으며, 이는 활발히 연구되고 있습니다.