[논문 리뷰] Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation

Peide Huang, Mengdi Xu외 4명|arXiv (Cornell University)|2022. 10. 18.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 워셔스타인 바리센터를 사용하여 작업 분포 보간을 최적 운반 문제로 공식화함으로써, 원천 작업에서 목표 작업으로의 정책 전이를 부드럽게 구현하는 커리큘럼 강화학습 프레임워크인 GRADIENT를 제안한다. 작업에 따라 달라지는 맥락 거리 측도를 활용하고 이산 및 연속적 맥락을 모두 처리함으로써, 이동 및 조작 작업에서 최신 기술(SOTA) 기준선에 비해 뛰어난 학습 효율성과 점근적 성능을 달성한다.

ABSTRACT

Curriculum Reinforcement Learning (CRL) aims to create a sequence of tasks, starting from easy ones and gradually learning towards difficult tasks. In this work, we focus on the idea of framing CRL as interpolations between a source (auxiliary) and a target task distribution. Although existing studies have shown the great potential of this idea, it remains unclear how to formally quantify and generate the movement between task distributions. Inspired by the insights from gradual domain adaptation in semi-supervised learning, we create a natural curriculum by breaking down the potentially large task distributional shift in CRL into smaller shifts. We propose GRADIENT, which formulates CRL as an optimal transport problem with a tailored distance metric between tasks. Specifically, we generate a sequence of task distributions as a geodesic interpolation (i.e., Wasserstein barycenter) between the source and target distributions. Different from many existing methods, our algorithm considers a task-dependent contextual distance metric and is capable of handling nonparametric distributions in both continuous and discrete context settings. In addition, we theoretically show that GRADIENT enables smooth transfer between subsequent stages in the curriculum under certain conditions. We conduct extensive experiments in locomotion and manipulation tasks and show that our proposed GRADIENT achieves higher performance than baselines in terms of learning efficiency and asymptotic performance.

연구 동기 및 목표

• 커리큘럼 강화학습(CRL)에서 큰 분포 이동을 작고 다룰 수 있는 전이로 나누어, 분포 이동 문제를 해결하기 위해.
• 최적 운반 이론을 사용하여 원천 및 목표 작업 분포 사이의 지오데식 보간으로 커리큘럼 생성을 공식화하기 위해.
• 비모수적, 연속적, 이산적 맥락 공간을 다룰 수 있는 방법을 개발하여, 모수적 분포 가정이 필요 없도록 하기 위해.
• 이론적 보장 조건을 통해 커리큘럼 단계 간의 부드러운 정책 전이를 확보하기 위해.
• 내비게이션 및 조작과 같은 복잡한 RL 작업에서 학습 효율성과 점근적 성능을 향상시키기 위해.

제안 방법

• 원천 및 목표 사이의 중간 작업 분포를 생성하기 위해 워셔스타인 바리센터를 사용하여 CRL을 최적 운반 문제로 공식화한다.
• 예측된 수익 차이를 반영하기 위해, $ d^\pi(c_i, c_j) = |J^\pi(c_i) - J^\pi(c_j)| $ 로 정의된 작업에 따라 달라지는 맥락 거리 측도를 도입한다.
• 자기부(encoder-decoder) 네트워크를 통해 학습된 임bedding 공간을 활용하여 맥락을 잠재 공간으로 매핑함으로써, 유클리드 거리가 워셔스타인 거리의 근사값이 되도록 하여, 자유 지원 설정에서의 보간을 가능하게 한다.
• 이중 단계 알고리즘을 사용한다: 첫 번째로, 수집된 트랙토리로부터 가우시안 프로세스 회귀를 통해 정책 가치 함수 $ J^\pi(c) $ 를 추정한다; 두 번째로, 맥락 거리 측도를 학습하기 위해 인코더-디코더 네트워크를 훈련시킨다.
• 증가하는 $ \alpha \in [0,1] $ 를 통해 점진적 보간을 적용하여, 원천과 목표 사이의 바리센터로 구성된 작업 분포의 시퀀스를 생성한다.
• 에이전트가 각 보간된 분포에서 훈련된 후 정책을 업데이트하고 거리 측도를 정밀화하는 커리큘럼 루프를 적용한다.

실험 결과

연구 질문

• RQ1 최적 운반을 사용하여 원천 및 목표 작업 분포 사이의 보간을 통해 자연스럽고 점진적인 커리큘럼을 효과적으로 생성할 수 있는가?
• RQ2 연속적 및 이산적 설정 모두에서 작업의 난이도 격차를 반영할 수 있는, 작업에 따라 달라지는 맥락적으로 의미 있는 거리 측도를 어떻게 정의할 수 있는가?
• RQ3 제안된 방법이 연속된 커리큘럼 단계 간의 부드러운 정책 전이를 보장할 수 있으며, 어떤 조건에서 이 보장이 이루어지는가?
• RQ4 학습된 임베딩을 사용한 워셔스타인 바리센터는 선형 보간 및 기존의 CRL 기준선에 비해 학습 효율성과 최종 성능 측면에서 뛰어나게 성능을 높이는가?
• RQ5 모수적 형태를 가정하지 않고, 비모수적 및 암묵적인 작업 분포를 어떻게 다루는가?

주요 결과

• GRADIENT는 이동 및 조작 작업에서 SOTA CRL 기준선보다 더 높은 학습 효율성을 달성하며, 수렴 속도가 빠르다.
• 메트릭 성능이 뛰어나 복잡한 환경, 예를 들어 U자형 미로에서 더 높은 최종 수익을 달성한다.
• 장애물이 있는 U자형 미로에서 GRADIENT의 보간은 선형 보간의 단점을 피하며, 중간에 비영일 확률을 가진 시작 위치를 모두 포함한다.
• 이론적 분석 결과, 특정 조건 하에서 GRADIENT는 커리큘럼 단계 간의 부드러운 정책 전이를 보장하며 성능 저하를 최소화함을 보여준다.
• 학습된 거리 임베딩의 사용은 $ l_2 $ 거리가 구조적 작업 차이를 포착하지 못하는 자유 지원, 연속적 맥락 공간에서도 효과적인 보간을 가능하게 한다.
• 실험 결과, 정책이 단계를 거치며 향상됨에 따라 보간된 작업 분포의 질도 향상되어 전체 커리큘럼 진행 상황이 향상됨을 보여준다.