[논문 리뷰] A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization

Pamul Yadav, Ashutosh Mishra외 2명|arXiv (Cornell University)|2022. 02. 17.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 종합 검토는 적응성과 일반화를 위한 최근 딥 강화학습(DRL) 기술의 발전을 종합적으로 분석하며, 과제 및 도메인 적응성 기반으로 방법을 분류한다. 다양한 환경에서 DRL 에이전트의 강건성을 향상시키는 기법들을 분석하고, 실제 적용 가능성 향상을 위해 일반화 및 적응 능력을 향상시키기 위한 향후 연구 방향을 제안한다.

ABSTRACT

Deep Reinforcement Learning (DRL) aims to create intelligent agents that can learn to solve complex problems efficiently in a real-world environment. Typically, two learning goals: adaptation and generalization are used for baselining DRL algorithm's performance on different tasks and domains. This paper presents a survey on the recent developments in DRL-based approaches for adaptation and generalization. We begin by formulating these goals in the context of task and domain. Then we review the recent works under those approaches and discuss future research directions through which DRL algorithms' adaptability and generalizability can be enhanced and potentially make them applicable to a broad range of real-world problems.

연구 동기 및 목표

• 다양한 과제와 도메인에서 에이전트의 적응성과 일반화 능력을 향상시키는 최근 DRL 접근법을 체계적으로 검토하기 위해.
• DRL 에이전트가 훈련 분포를 초월해 일반화하고 새로운 환경에 적응할 수 있도록 하는 핵심 기술 전략을 특정하기 위해.
• DRL에서 적응 및 일반화를 위한 현재 방법의 상호 교환 관계와 한계를 분석하기 위해.
• DRL 에이전트의 강건성과 전이 가능성 향상을 위한 열린 과제와 향후 연구 방향을 요약하기 위해.
• 연구자들이 더 일반화 가능하고 적응 가능한 DRL 시스템을 개발하는 데 안내할 수 있도록 분야의 체계적인 개요를 제공하기 위해.

제안 방법

• 적응(과제 수준)과 일반화(도메인 수준) 목표에 따라 DRL 방법을 분류한다.
• 일반화를 향상시키기 위해 메타강화학습, 도메인 랜덤라이제이션, 내재적 호기심 등의 기법을 검토한다.
• 계층적 정책과 분리된 표현과 같은 아키텍처 혁신이 적응 능력을 향상시키는 방식을 분석한다.
• 커리큘럼 학습과 다중 과제 학습 전략이 환경 간 강건한 일반화를 촉진하는 방식을 분석한다.
• 보상 형상 조정, 표현 학습, 데이터 증강이 적응 성능 향상에 미치는 영향을 평가한다.
• 로봇 공학, 게임 플레이, 연속 제어 등 여러 도메인의 연구 결과를 종합하여 공통 패턴과 격차를 식별한다.

실험 결과

연구 질문

• RQ1 DRL에서 다양한 도메인 간 일반화를 향상시키기 위해 주로 사용되는 기술적 접근은 무엇인가?
• RQ2 적응 중심의 방법은 DRL 에이전트가 최소한의 재훈련으로 새로운 과제에 신속히 적응하도록 어떻게 도와주는가?
• RQ3 분포 이탈 상황에서 현재 DRL 방법의 강건한 일반화 달성에 있어 핵심적인 한계는 무엇인가?
• RQ4 아키텍처 및 학습 전략 선택이 DRL 에이전트의 적응성과 일반화 능력에 미치는 영향는 어떠한가?
• RQ5 DRL 시스템의 실제 적용 잠재력을 크게 향상시킬 수 있는 향후 연구 방향은 무엇인가?

주요 결과

• 메타강화학습과 도메인 랜덤라이제이션은 예측할 수 없는 환경 간 일반화를 향상시키는 데 가장 효과적인 전략 중 하나이다.
• 계층적 및 분리된 표현은 이전에 학습한 기술을 재사용할 수 있도록 하여 에이전트가 새로운 과제에 적응하는 능력을 크게 향상시킨다.
• 커리큘럼 학습과 다중 과제 학습은 과제 복잡도를 점진적으로 증가시킴으로써 샘플 효율성과 일반화 능력을 향상시킨다.
• 내재적 호기심과 호기심 기반 탐색은 보상이 희박한 환경에서 다양한 행동을 탐색하고 일반화하는 데 도움이 된다.
• 진전이 있었음에도 불구하고, 현재 방법들은 분포 이탈 상황에서 여전히 어려움을 겪고 있으며, 강건한 성능를 확보하기 위해 상당한 초모수 조정이 필요하다.
• 이 종합 검토는 일반화 및 적응 능력 평가 성능을 비교할 수 있도록 표준화된 벤치마크와 평가 프로토콜가 필수적이라는 중요한 필요성을 규명한다.