[논문 리뷰] Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research

Juan Jose Garau Luis, Edward F. Crawley외 1명|arXiv (Cornell University)|2021. 07. 07.

Reinforcement Learning in Robotics참고 문헌 78인용 수 4

한 줄 요약

이 논문은 도메인 무관 및 도메인 특화 딥 강화학습(DRL) 연구 간 격차를 평가하며, 일반 DRL 연구의 다섯 가지 핵심 부족 요소—예를 들어 로봇 공학에 대한 편향, 실제 적용 후속 조치 부족, 무시된 운영 제약 조건 등—을 식별하고, 일반화 능력 향상, 대상별 개념 증명 개발, DRL이 충분하지 않은 경우 하이브리드 의사결정 체계를 통해 실제 적용을 향상시키는 双경로 프레임워크를 제안한다.

ABSTRACT

Deep Reinforcement Learning (DRL) is considered a potential framework to improve many real-world autonomous systems; it has attracted the attention of multiple and diverse fields. Nevertheless, the successful deployment in the real world is a test most of DRL models still need to pass. In this work we focus on this issue by reviewing and evaluating the research efforts from both domain-agnostic and domain-specific communities. On one hand, we offer a comprehensive summary of DRL challenges and summarize the different proposals to mitigate them; this helps identifying five gaps of domain-agnostic research. On the other hand, from the domain-specific perspective, we discuss different success stories and argue why other models might fail to be deployed. Finally, we take up on ways to move forward accounting for both perspectives.

연구 동기 및 목표

• 도메인 무관 DRL 연구와 실제 적용 도전 과제 사이의 괴리를 분석하기 위해.
• 특히 운영 환경에서의 적용을 방해하는 현재 DRL 연구의 핵심 부족 요소를 식별하기 위해.
• 도메인 특화 DRL 성공 사례를 평가하고, 시뮬레이션에서 강력한 성능을 보였음에도 불구하고 많은 모델이 실제 적용에 실패하는 이유를 이해하기 위해.
• 일반화 가능한 DRL 기여와 도메인 특화 운영 요구 사항을 조율하는 프레임워크를 제안하기 위해.
• 설계적 트레이드오프와 시스템 수준의 제약 조건을 다루며, 향후 연구가 더 운영 가능성이 높은 DRL 시스템으로 나아가도록 이끌기 위해.

제안 방법

• 최근 문헌에서 도메인 무관 DRL 도전 과제와 대응 전략을 종합적으로 검토한다.
• 도메인 무관 DRL 연구의 다섯 가지 핵심 격차를 식별한다: 로봇 공학에 대한 과도한 의존, 복합 과제에 대한 부족한 고려, 실제 적용 검증 부족, 설계 트레이드오프에 대한 이해 부족, 운영 고려 사항 생략.
• 다양한 분야(예: 로봇 공학, 통신, 헬스케어, 신약 발견 등)에서 도메인 특화 DRL 응용을 분석하여 성공 사례와 실패 요인을 강조한다.
• 실제 적용을 위한 삼각 전략을 제안한다: 기존 모델의 일반화 능력 향상, 운영 영역을 커버하기 위한 추가 개념 증명 개발, DRL만으로는 불가능한 상황 인식.
• 두 관점의 통찰을 통합하여 DRL이 다른 제어 또는 계획 방법과 보완되는 하이브리드 의사결정 체계의 필요성을 주장한다.
• 개념적 프레임워크(그림 2)를 사용하여 도메인 특화 운영 환경와 일반화 가능한 DRL 개념 증명을 구분하며, 이들 간의 정렬을 강조한다.

실험 결과

연구 질문

• RQ1 왜 많은 딥 강화학습 모델이 시뮬레이션에서 강력한 성능을 보였음에도 불구하고 실제 환경에 도입되지 못하는가?
• RQ2 실제 적용 가능성을 저해하는 도메인 무관 DRL 연구의 핵심 격차는 무엇인가?
• RQ3 도메인 특화 DRL 응용은 실제 적용에서 성공하거나 실패하는 이유는 무엇이며, 운영 제약 조건은 어떤 역할을 하는가?
• RQ4 일반화 가능한 DRL 모델이 실제 시스템의 전반적인 운영 영역을 얼마나 커버할 수 있는가?
• RQ5 어떤 운영 환경에서 DRL이 부족할 수 있으며, 이를 다른 의사결정 프레임워크와 어떻게 통합할 수 있는가?

주요 결과

• 도메인 무관 DRL 연구에서 다섯 가지 주요 격차를 식별했다: 로봇 공학 사용 사례에 대한 과도한 의존, 복합 과제에 대한 부족한 고려, 실제 적용 검증 부족, 설계 트레이드오프에 대한 이해 부족, 운영 고려 사항 생략.
• 많은 도메인 특화 DRL 성공 사례는 일반화 능력을 희생시키며 매우 맞춤형으로 개발된 모델을 통해 달성되며, 이는 광범위한 운영 적용에 부적합하다.
• 실제 적용이 종종 알고리즘적 한계 외에도, 모델 설계 및 평가 시 운영 맥락이 누락되어 있기 때문에 저해된다.
• 일반화 능력 향상은 필수적이지만 충분하지 않으며, 복잡한 운영 영역을 커버하기 위해 전문화된 DRL 모델의 포트폴리오가 필요할 수 있다.
• 어떤 경우에서는 DRL만으로는 전체 운영 스펙트럼을 다룰 수 없으며, 비-DRL 의사결정 시스템과의 통합이 필요하다.
• 도메인 무관 연구와 도메인 특화 운영 요구 사항 간의 정렬은 실제 DRL 적용을 발전시키는 데 핵심적이다.