[논문 리뷰] Benchmark Environments for Multitask Learning in Continuous Domains

Peter Henderson, Wei-Di Chang외 4명|arXiv (Cornell University)|2017. 08. 14.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 17

한 줄 요약

이 논문은 다중 작업, 전이, 지속 학습을 평가하기 위해 설계된 50개 이상의 연속 제어 강화 학습 환경으로 구성된 표준화된 벤치마크 세트를 소개한다. OpenAI Gym 기반으로 구축되었으며, 신뢰 영역 정책 최적화(TRPO)를 기준선으로 사용하여, 특히 중력과 신체 형태의 변화가 치명적 기억상실을 유도하는 것으로 밝혀졌고, 안정적인 역학적 특성은 정방향 전이를 가능하게 함을 입증함으로써 다양한 방법 간 공정한 비교 기반을 마련하였다.

ABSTRACT

As demand drives systems to generalize to various domains and problems, the study of multitask, transfer and lifelong learning has become an increasingly important pursuit. In discrete domains, performance on the Atari game suite has emerged as the de facto benchmark for assessing multitask learning. However, in continuous domains there is a lack of agreement on standard multitask evaluation environments which makes it difficult to compare different approaches fairly. In this work, we describe a benchmark set of tasks that we have developed in an extendable framework based on OpenAI Gym. We run a simple baseline using Trust Region Policy Optimization and release the framework publicly to be expanded and used for the systematic comparison of multitask, transfer, and lifelong learning in continuous domains.

연구 동기 및 목표

• 연속 제어 도메인에서 다중 작업 학습을 위한 표준화된 벤치마크의 부족 문제를 해결하기 위해.
• OpenAI Gym 기반으로 확장 가능하고 오픈소스인 프레임워크를 개발하여 다중 작업, 전이, 지속 학습 강화 학습 알고리즘의 체계적 평가를 지원하기 위해.
• 치명적 기억상실을 유도하거나 정방향 전이를 가능하게 하는 환경 변화를 규명하여 다양한 방법 간 공정한 비교 기반을 마련하기 위해.
• 다양한 작업 그룹에 걸쳐 TRPO를 사용한 기준 성능를 공개하여未래 연구의 기준점으로 삼기 위해.
• 재현 가능성과 커뮤니티 기반의 벤치마크 환경 확장 및 연속 영역 강화 학습을 위한 기여를 촉진하기 위해.

제안 방법

• OpenAI Gym의 표준 MuJoCo 환경을 수정하여 중력, 신체 부위 크기, 장애물 또는 센서 노이즈 등의 물리적 파rameter를 변경함.
• 일반화 및 탐색 능력을 테스트하기 위해 랜덤한 시작/목표 위치와 벽 장애물을 가진 새로운 탐색 작업을 도입함.
• 고정된 아키텍처(100-50-25 ReLU, tanh 출력)와 하이퍼파라미터를 사용한 TRPO를 적용하여 각 환경 그룹 내에서 순차적으로 학습함.
• 이전에 학습된 환경에서의 최종 정책 성능을 측정하여 정방향 전이와 기억상실 정도를 평가함.
• 각 환경당 20회의 롤아웃을 수행하여 평균 누적 보상과 표준편차를 보고함.
• 공개적으로 프레임워크를 배포하여 커뮤니티 기여, 새로운 환경 변형, 알고리즘 벤치마크 가능성을 제공함.

실험 결과

연구 질문

• RQ1 연속 제어 환경의 표준화가 다중 작업 및 지속 학습 강화 학습 알고리즘 간 공정하고 체계적인 비교를 가능하게 할 수 있는가?
• RQ2 물리 기반 수정(예: 중력, 신체 크기)이 순차적 학습에서 치명적 기억상실을 얼마나 유도하는가?
• RQ3 어떤 환경 변화에서 정방향 전이가 발생하며, 어떤 역학적 특성이 작업 간 일반화를 지원하는가?
• RQ4 TRPO는 지연 보상이 있는 다양한 복잡한 연속 제어 작업에서 일반화 가능한 정책을 얼마나 효과적으로 학습하는가?
• RQ5 희소 보상과 고차원 상태 공간을 가진 탐색 작업은 지속 학습을 위한 효과적인 벤치마크가 될 수 있는가?

주요 결과

• 중력이 변하는 Hopper 환경에서 순차적 학습이 진행됨에 따라 이전 작업의 성능이 크게 저하되며, 강한 치명적 기억상실을 나타냄.
• 최종 정책의 이전에 학습된 Hopper 환경(HopperGravityHalf-v0 등)에서의 성능은 990.95 ± 1022.32로 떨어지지만, 각 환경에서 학습 직후 성능은 더 높음(예: 2603.70 ± 881.54), 기억상실을 확인함.
• 안정적인 역학적 특성을 가진 Walker2d 및 HalfCheetah 변형 환경에서는 최종 정책가 처음부터 학습한 것과 중간 정책보다도 더 높은 성능를 보이며 정방향 전이가 발생함.
• Humanoid 및 벽 장애물 태스크에서는 TRPO가 1000회의 학습 반복 이내에 효과적인 정책을 학습하지 못하며 보상이 초기 -1000 기준선 근처에 머물름.
• 탐색 태스크에서는 기본 TRPO 설정 하에서 에이전트가 목표에 도달하는 것을 전혀 학습하지 못함으로써, 희소 보상 및 고변동성 환경에서 탐색 능력의 한계를 보여줌.
• 이 프레임워크는 일반화가 가능한 환경 그룹(예: 안정적인 역학적 특성)과 불가능한 그룹(예: 고역학적 교란)을 성공적으로 식별하여 향후 방법 개발을 위한 진단 도구로 기능함.