[논문 리뷰] NovGrid: A Flexible Grid World for Evaluating Agent Response to Novelty

Jonathan Balloch, Zhiyu Lin외 6명|arXiv (Cornell University)|2022. 03. 23.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

NovGrid는 미니그리드 기반의 유연한 격자 세계 환경로, 환경 메커니즘의 동적 변화를 주입함으로써 강화학습 에이전트의 낯설음에 대한 반응을 체계적으로 평가할 수 있도록 한다. 이 프레임워크는 낯설음의 체계적 온톨로지, 사용자 정의 가능한 낯설음 템plate 지원, 그리고 표준 PPO 에이전트가 낯설음에 잘 적응하지 못함을 보여주는 지표를 제공한다. 이는 향후 낯설음 적응 기법의 개선이 필요함을 시사한다.

ABSTRACT

A robust body of reinforcement learning techniques have been developed to solve complex sequential decision making problems. However, these methods assume that train and evaluation tasks come from similarly or identically distributed environments. This assumption does not hold in real life where small novel changes to the environment can make a previously learned policy fail or introduce simpler solutions that might never be found. To that end we explore the concept of {\em novelty}, defined in this work as the sudden change to the mechanics or properties of environment. We provide an ontology of for novelties most relevant to sequential decision making, which distinguishes between novelties that affect objects versus actions, unary properties versus non-unary relations, and the distribution of solutions to a task. We introduce NovGrid, a novelty generation framework built on MiniGrid, acting as a toolkit for rapidly developing and evaluating novelty-adaptation-enabled reinforcement learning techniques. Along with the core NovGrid we provide exemplar novelties aligned with our ontology and instantiate them as novelty templates that can be applied to many MiniGrid-compliant environments. Finally, we present a set of metrics built into our framework for the evaluation of novelty-adaptation-enabled machine-learning techniques, and show characteristics of a baseline RL model using these metrics.

연구 동기 및 목표

• 학습 환경과 테스트 환경 간의 낯설음이 발생할 경우 에이전트가 실패하는 강화학습 분야의 핵심적 격차를 해결한다.
• 순차적 결정 문제에서의 낯설음에 대한 체계적 온톨로지 개발을 통해, 객체와 동작의 낯설음, 단항성과 비단항성 성질, 그리고 해법 분포 이동을 구분한다.
• 다양한 낯설음을 동적으로 주입할 수 있도록 가능한 모듈러한 MiniGrid 확장인 NovGrid를 구축한다.
• 적응 효율성, 점근적 성능, 일회성 적응 등 다양한 지표를 포함하여 낯설음 적응 성능을 평가하기 위한 종합적인 지표 세트를 설계하고 통합한다.
• 기본 기반 모델(PPO)을 평가함으로써 프레임워크의 유용성을 입증하고, 명시적인 낯설음 인식 메커니즘이 없는 경우에 심각한 적응 한계가 있음을 확인한다.

제안 방법

• 순차적 결정 문제에서의 환경적 낯설음에 대한 새로운 온톨로지 정의를 통해, 유형(객체 대비 동작), 성질 구조(단항성 대비 비단항성), 그리고 작업 해법에 미치는 영향(장애 대비 촉진)으로 분류한다.
• 사용자 설정 가능한 환경 워퍼를 통해 런타임에서 객체 행동을 수정함으로써 일반화된 낯설음 생성기로 MiniGrid 환경을 확장한다 (예: 열쇠 유형 변경, 문 메커니즘 변경).
• 온톨로지에 부합하는 예시 낯설음 세트를 구현한다. 예를 들어 'DoorKeyChange'는 노란색 열쇠가 파란색 열쇠로 기능 전환되며 갑작스러운 기계적 변화를 시뮬레이션한다.
• 개발자가 특정 타임스텝에 맞춰 사용자 정의 낯설음 템plate를 정의하고 주입할 수 있도록 모듈러한 프레임워크를 설계함으로써 재현 가능하고 확장 가능한 실험을 가능하게 한다.
• NovGrid에 적응 효율성(성능 복구 시간), 점근적 적응 성능(적응 후 최종 보상), 회복률 등의 평가 지표 세트를 통합한다.
• 표준 강화학습 에이전트(예: PPO)를 제어된 낯설음 주입 조건 하에서 평가하여 성능 저하와 복구 역학을 측정한다.

실험 결과

연구 질문

• RQ1 특히 객체 메커니즘이나 동작 결과를 변화시키는 다양한 유형의 환경적 낯설음이, 에이전트의 작업 성능 유지 또는 복구 능력에 어떤 영향을 미치는가?
• RQ2 PPO와 같은 표준 딥 강화학습 에이전트는 명시적인 낯설음 인식 설계 없이도 갑작스럽고 예측 불가능한 환경 동역학 변화에 얼마나 잘 적응할 수 있는가?
• RQ3 적응 효율성 및 점근적 성능과 같은 지표들이 낯설음에 대한 반응에서 에이전트의 내성성과 학습 속도를 어떻게 정량화하는가?
• RQ4 표준화되고 확장 가능한 프레임워크인 NovGrid는 다양한 환경에서 낯설음 적응 기법을 체계적으로 벤치마킹하고 비교하는 데 기여할 수 있는가?
• RQ5 해법 분포 이동(예: 더 단순한 경로의 등장)은 낯설음 적응에 어떤 역할을 하는가? 이를 어떻게 모델링하고 측정할 수 있는가?

주요 결과

• PPO 기본 기반 에이전트는 낯설음 적응 능력이 열악하여, 낯설음 주입 후 약 300,000 타임스텝이 지난 후에야 보상 0.8 수준으로 점차 수렴한다.
• 적응 효율성이 낮아, 기존 강화학습 에이전트가 환경 변화에 대해 복구하기 위해 상당한 추가 학습이 필요함을 시사한다. 이는 기반이 되는 작업이 동일하더라도 마찬가지다.
• 프레임워크는 갑작스러운 열쇠 功能 변화(예: 노란색 열쇠에서 파란색 열쇠로 전환)가 성능 저하를 야기함을 성공적으로 시연하여, 이러한 낯설음이 실제 세계에서의 관련성을 확인한다.
• 기본 기반 에이전트의 회복 메커니즘이 부재함으로써 현재 강화학습 기법의 핵심적 한계가 드러나며, 내재된 낯설음 적응 기능을 갖춘 새로운 알고리즘 개발의 필요성을 강조한다.
• 프레임워크의 지표는 낯설음 주입 직후 성능 저하가 즉각 발생하고, 복구가 느리다는 점을 드러내어, 기존의 탐색 및 학습 역학이 견고한 적응에 부족하다는 것을 시사한다.
• 결과적으로未래 연구는 일회성 적응 향상, 더 빠른 수렴, 낯설음 하에서의 높은 점근적 성능 향상에 초점을 맞춰야 하며, 특히 동적이고 실제 세계적인 환경에서의 적용을 고려해야 한다.