[논문 리뷰] Reinforcement Learning in Practice: Opportunities and Challenges

Yuxi Li|arXiv (Cornell University)|2022. 02. 23.

Innovation Diffusion and ForecastingDecision Sciences인용 수 17

한 줄 요약

이 논문은 실생활 응용 분야에서 강화학습(RL)에 대한 비기술적이고 종합적인 개요를 제공하며, 로봇공학, 헬스케어, 금융, 교육 등 다양한 분야에서의 광범위한 기회를 논의하면서 보상 설계, 탐색, 확장성, 구현과 같은 핵심 과제를 체계적으로 분석한다. 또한 RL이 가장 효과적인 경우와 널리 보급되지 않는 이유에 대한 통찰을 제시한다.

ABSTRACT

This article is a gentle discussion about the field of reinforcement learning in practice, about opportunities and challenges, touching a broad range of topics, with perspectives and without technical details. The article is based on both historical and recent research papers, surveys, tutorials, talks, blogs, books, (panel) discussions, and workshops/conferences. Various groups of readers, like researchers, engineers, students, managers, investors, officers, and people wanting to know more about the field, may find the article interesting. In this article, we first give a brief introduction to reinforcement learning (RL), and its relationship with deep learning, machine learning and AI. Then we discuss opportunities of RL, in particular, products and services, games, bandits, recommender systems, robotics, transportation, finance and economics, healthcare, education, combinatorial optimization, computer systems, and science and engineering. Then we discuss challenges, in particular, 1) foundation, 2) representation, 3) reward, 4) exploration, 5) model, simulation, planning, and benchmarks, 6) off-policy/offline learning, 7) learning to learn a.k.a. meta-learning, 8) explainability and interpretability, 9) constraints, 10) software development and deployment, 11) business perspectives, and 12) more challenges. We conclude with a discussion, attempting to answer: "Why has RL not been widely adopted in practice yet?" and "When is RL helpful?".

연구 동기 및 목표

• 다양한 분야에서 강화학습의 실용적 응용에 대한 종합적이고 접근하기 쉬운 개요를 제공하는 것.
• 실생활 시스템에 대한 RL 보급을 저해하는 주요 기술적, 방법론적, 조직적 과제를 특정하고 분석하는 것.
• 실생활 순차적 의사결정 문제를 해결하는 데 RL이 가장 효과적인 조건을 명확히 하는 것.
• 워크숍, 컨ferences, 실무 경험에서의 통찰을 통합하여 향후 연구 및 구현을 안내하는 것.
• 핵심 질문에 답하는 것: 왜 RL은 아직 널리 보급되지 않았으며, 언제 진정으로 유용한가?

제안 방법

• 논문은 ICML 및 RL4RealLife 이벤트를 포함한 주요 컨퍼런스와 워크숍에서의 역사적 및 최신 연구, 서베이, 튜토리얼, 연설, 블로그, 책, 패anel 토론 등을 종합하여 분석한다.
• 논의는 12개의 응용 분야에 대한 기회와 RL 구현에서의 12가지 핵심 과제로 나누어진 두 부분으로 구성된다.
• 분석은 실생활 구현 사례와 실무자 경험에 기반하며, 이론적 또는 알고리즘적 세부사항보다는 실용적 통찰을 중시한다.
• 저자는 주요 논문, 산업 보고서, 라인업 강화학습 연구자 및 실무자들의 전문 기여를 포함한 광범위한 자료를 활용한다.
• 논문은 '보상은 충분하다'(Reward-is-Enough) 가설과 시뮬레이터/디지털 트윈의 역할과 같은 개념적 프레임워크를 활용하여 RL이 적용 가능한 조건을 분석한다.
• 문제의 구조, 특히 문제가 측정 가능한 보상이 있는 순차적 의사결정 과제로 프레임화될 수 있는지의 여부를 기준으로 RL의 잠재력을 평가한다.

실험 결과

연구 질문

• RQ1 실생활 문제를 해결하는 데 강화학습이 가장 효과적인 조건은 무엇인가요?
• RQ2 이론적으로는 유망한데도 불구하고 산업계에서 강화학습이 아직 널리 보급되지 않은 이유는 무엇인가요?
• RQ3 강화학습 시스템을 대규모로 구현하는 데 있어 가장 중요한 기술적 및 실용적 장벽은 무엇인가요?
• RQ4 로봇공학, 금융, 헬스케어와 같은 다양한 응용 분야는 RL에서 어떤 이점을 얻고 있으며, 어떤 고유한 과제에 직면해 있나요?
• RQ5 시뮬레이터, 데이터, 모델 정밀도는 강화학습 응용의 성공에 어떤 역할을 하나요?

주요 결과

• 강화학습은 상태, 행동, 보상이 잘 정의된 순차적 의사결정 과정으로 프레임화될 수 있을 때 가장 효과적이다.
• 고정밀도 시뮬레이터 또는 풍부한 역사적 데이터(온라인 또는 오프라인)가 있는 문제는 RL 구현에서 높은 성공률를 보인다.
• 딥러닝과 RL의 통합은 체스나 바둑(예: 알파고)과 같은 게임 플레이 및 추천 시스템 분야에서 돌풍을 일으켰지만, 실생활 보급은 실용적 과제로 인해 제한되어 있다.
• 보상 설계, 탐색, 안전성, 설명 가능성과 같은 과제는 제어된 환경에서 알고리즘이 잘 작동하더라도 구현의 주요 장벽이 된다.
• 명확한 목표 함수와 측정 가능한 결과가 있는 분야, 예를 들어 조합 최적화나 제어 시스템에서는 RL이 특히 유망하지만, 교육이나 게임 디자인과 같은 주관적 또는 인간 중심의 분야에서는 덜 효과적이다.
• 상당한 진전에도 불구하고 RL은 아직 딥러닝이 컴퓨터 비전이나 NLP 분야에 미친 영향과 동등한 '결정적 응용'에 도달하지 못했으며, 이는 돌풍적인 돌파구보다는 점진적이고 서서히 통합되는 경향을 시사한다.