[논문 리뷰] A Survey of Zero-shot Generalisation in Deep Reinforcement Learning

Robert Kirk, Amy Zhang외 2명|arXiv (Cornell University)|2021. 11. 18.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 종합 검토는 딥 강화 학습에서 제로샷 일반화(ZSG)를 위한 통합된 수학적 형식을 제공하며, 맥락 유형, 분포 이탈, 일반화 방식으로 ZSG 문제를 분류한다. 벤치마크, 방법론을 검토하고, 오프라인 RL ZSG와 보상 함수 변형과 같이 연구가 부족한 분야를 밝혀내며, 실제 적용에서의 강건성을 향상시키기 위해 빠른 온라인 적응과 구조화된 MDP를 권장한다.

ABSTRACT

The study of zero-shot generalisation (ZSG) in deep Reinforcement Learning (RL) aims to produce RL algorithms whose policies generalise well to novel unseen situations at deployment time, avoiding overfitting to their training environments. Tackling this is vital if we are to deploy reinforcement learning algorithms in real world scenarios, where the environment will be diverse, dynamic and unpredictable. This survey is an overview of this nascent field. We rely on a unifying formalism and terminology for discussing different ZSG problems, building upon previous works. We go on to categorise existing benchmarks for ZSG, as well as current methods for tackling these problems. Finally, we provide a critical discussion of the current state of the field, including recommendations for future work. Among other conclusions, we argue that taking a purely procedural content generation approach to benchmark design is not conducive to progress in ZSG, we suggest fast online adaptation and tackling RL-specific problems as some areas for future work on methods for ZSG, and we recommend building benchmarks in underexplored problem settings such as offline RL ZSG and reward-function variation.

연구 동기 및 목표

• 딥 강화 학습에서 제로샷 일반화(ZSG)를 위한 통합된 형식을 수립하여, 분포 내 및 분포 외 일반화를 구분한다.
• 기존 ZSG 벤치마크를 분류하여 현재의 절차적 콘텐츠 생성 접근법의 한계를 부각한다.
• 현재 ZSG 방법을 분석하여 조합적, 내삽형, 외삽형 일반화를 다룰 때의 강점과 약점을 파악한다.
• 미래 연구를 위해 연구가 부족하지만 핵심적인 문제 설정—예를 들어 오프라인 RL ZSG와 보상 함수 변형—을 식별한다.
• 실세계 적용에서의 강건성을 향상시키기 위해 빠른 온라인 적응과 구조화된 MDP와 같은 방법론적 방향을 제안한다.

제안 방법

• 맥락 기반 MDP(CMDP)를 기반으로 한 형식적 프레임워크를 제안하여 ZSG 문제를 통합하며, 관측된 맥락과 관측되지 않은 맥락, 다양한 종류의 분포 이탈을 구분한다.
• ZSG를 하위 유형으로 분해: 조합적 대 비조합적, 내삽형 대 외삽형, 단일 요인 대 다중 요인 일반화.
• 환경 분포 이탈(IID 대 OOD), 맥락 관측 가능성, 작업 다양성의 차원을 따라 벤치마크를 분류한다.
• 요소 기반 MDP, 관계 기반 MDP, 블록 MDP와 같은 방법을 검토하며, 체계적인 일반화를 위해 구조적 가정을 활용한다.
• 특히 요소 기반 MDP와 블록 MDP를 포함한 구조화된 MDP의 사용을 강조하여 상태 공간 복잡도를 감소시키고 표본 효율적 학습을 가능하게 한다.
• 보상 함수의 다양성과 오프라인 RL 설정을 고려한 벤치마크 설계를 권장하여 실제 적용 시 환경 제약을 더 잘 반영한다.

실험 결과

연구 질문

• RQ1 딥 강화 학습에서 제로샷 일반화는 다양한 문제 설정 간에 어떻게 형식적이고 일관되게 정의될 수 있는가?
• RQ2 내삽형 대 외삽형, 단일 요인 대 다중 요인 일반화와 같은 다양한 ZSG 유형 간의 핵심 차이점은 무엇인가?
• RQ3 특히 절차적 콘텐츠 생성에 의존하는 현재의 벤치마크는 왜 ZSG의 진전을 이끌기에 부적합한가?
• RQ4 실세계 환경에서의 성능 향상을 위해 빠른 온라인 적응이나 구조화된 MDP와 같은 방법론적 접근은 어떻게 기여하는가?
• RQ5 오프라인 RL이나 보상 함수 변형과 같은 문제 설정은 왜 연구가 부족하지만 실세계 RL 적용에 있어 필수적인가?

주요 결과

• 맥락 기반 MDP를 기반으로 한 통합된 형식은 ZSG 문제의 명확한 비교와 분류를 가능하게 하며, 분포 내 및 분포 외 일반화를 명확히 구분한다.
• 현재의 벤치마크는 종종 절차적 콘텐츠 생성에 의존하여 실제 세계의 분포 이탈을 충분히 반영하지 못하고 평가 과적합을 유발할 수 있다.
• 요소 기반 MDP와 블록 MDP는 체계적인 일반화를 지원하는 구조적 인덕티브 바이어스를 제공하여, 요소 조합의 새로운 조합으로의 일반화를 향상시키고 표본 효율성을 높인다.
• 관계 기반 및 객체 기반 MDP는 복잡한 객체 기반 환경을 위한 형식을 제공하지만, 스케일업 가능한 딥 강화 학습 학습에는 종종 지나치게 제약이 있다.
• 오프라인 RL ZSG와 보상 함수 변형을 위한 견고한 벤치마크가 여전히 부족하여, 환경 역학과 보상이 변화할 수 있는 실제 적용 환경에서는 필수적이다.
• 미래 연구는 도메인 적응이나 메타-RL과 같은 접근보다는 제로샷 제약을 위반하지 않는 빠른 온라인 적응 및 RL 전용 방법론을 우선시해야 한다.