[논문 리뷰] Challenges of Real-World Reinforcement Learning

Gabriel Dulac-Arnold, Daniel J. Mankowitz외 1명|arXiv (Cornell University)|2019. 04. 29.

Reinforcement Learning in Robotics참고 문헌 67인용 수 252

한 줄 요약

이 연구는 RL을 실제 시스템에 배포할 때의 아홉 가지 실용적 문제를 식별하고, 각 문제에 대한 기존 접근법과 평가 지표를 조사하며, 수정된 제어 스위트를 테스트베드로 사용해 이를 시연한다.

ABSTRACT

Reinforcement learning (RL) has proven its worth in a series of artificial domains, and is beginning to show some successes in real-world scenarios. However, much of the research advances in RL are often hard to leverage in real-world systems due to a series of assumptions that are rarely satisfied in practice. We present a set of nine unique challenges that must be addressed to productionize RL to real world problems. For each of these challenges, we specify the exact meaning of the challenge, present some approaches from the literature, and specify some metrics for evaluating that challenge. An approach that addresses all nine challenges would be applicable to a large number of real world problems. We also present an example domain that has been modified to present these challenges as a testbed for practical RL research.

연구 동기 및 목표

• 실세계에서 데이터가 제한되고 안전이 제약된 환경에서 작동하는 RL 방법의 필요성을 고무한다.
• 실세계 RL과 실험실 RL을 구분짓는 아홉 가지 구체적 도전을 특징짓는다.
• 각 도전에 맞춘 평가 프레임워크와 지표를 제안한다.
• 수정된 DeepMind 제어 스위트 휴머노이드 태스크에서 도전과 평가 전략을 보여준다.

제안 방법

• MDP/POMDP/안전 제약 맥락에서 아홉 가지 실세계 RL 도전을 정의하고 형식화한다.
• 문헌 정렬된 접근법을 각 도전에 대해 조사한다(배치/오프폴리시 학습, 샘플 효율성, 고차원 공간, 안전 제약, 부분 관찰/비정규성, 불명시/다중목표 보상, 설명 가능성, 실시간 추론, 지연).
• 각 도전별 구체적 평가 지표를 제안한다(예: 예열 시작 성능, 데이터 효율성, 안전 위반 건수, 최악의 성능, CVaR, 다목적 벡터).
• 모든 도전을 포함하도록 제어 스위트를 수정하고, 실무에서의 각 측면 평가에 관한 지침을 제시한다.

실험 결과

연구 질문

• RQ1 실세계 시스템에서 RL을 생산화하는 데 필요한 핵심 도전은 무엇인가?
• RQ2 각 도전을 어떻게 정의하고 측정하며 평가할 수 있는가?
• RQ3 이 도전들을 다루는 기존 방법은 무엇이며, 이를 결합적으로 고려할 때 어떤 격차가 남아 있는가?
• RQ4 한 테스트베드가 모든 아홉 가지 도전을 동시에 처리하는 모습을 보여줄 수 있는가?

주요 결과

• 정의, 문헌 접근법, 평가 지표를 각각 제시한 포괄적인 아홉 가지 실세계 RL 도전 과제 세트를 제안한다.
• 안전성, 견고성 및 다목적 고려를 평균 수익만으로 보는 것보다 강조하는 통합 평가 프레임워크를 제안한다.
• 배치/오프폴리시 학습, 데이터 효율성, CMDP를 통한 안전성, 및 실시간 추론은 생산 가능성에 중요하게 대두된다.
• 수정된 DeepMind 제어 스위트 내의 토이 예제로 모든 아홉 가지 도전 과제를 스트레스 테스트하는 방법을 보여준다.
• 모든 아홉 가지 도전을 해결하는 알고리즘이 다양한 실세계 문제에 적용될 수 있다고 본다.