[논문 리뷰] Multi-task Reinforcement Learning in Reproducing Kernel Hilbert Spaces via Cross-learning

Juan Cerviño, Juan Andrés Bazerque외 2명|arXiv (Cornell University)|2020. 08. 27.

Reinforcement Learning in Robotics참고 문헌 64인용 수 8

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 공유된 중심 정책에 가까운 태스크별 정책을 제약하는 다중태스크 강화학습 프레임워크인 크로스러닝을 제안한다. 이는 새로운 관련 태스크에 빠르게 적응할 수 있도록 한다. 제약 최적화 문제를 사영 정책 경사 하강법으로 공식화함으로써, 근사 최적해에 수렴하고 새로운 장애물 형태를 가진 탐색 태스크에서 뛰어난 일반화 성능을 보인다.

ABSTRACT

Reinforcement learning (RL) is a framework to optimize a control policy using rewards that are revealed by the system as a response to a control action. In its standard form, RL involves a single agent that uses its policy to accomplish a specific task. These methods require large amounts of reward samples to achieve good performance, and may not generalize well when the task is modified, even if the new task is related. In this paper we are interested in a collaborative scheme in which multiple agents with different tasks optimize their policies jointly. To this end, we introduce cross-learning, in which agents tackling related tasks have their policies constrained to be close to one another. Two properties make our new approach attractive: (i) it produces a multi-task central policy that can be used as a starting point to adapt quickly to one of the tasks trained for, in a situation when the agent does not know which task is currently facing, and (ii) as in meta-learning, it adapts to environments related but different to those seen during training. We focus on continuous policies belonging to reproducing kernel Hilbert spaces for which we bound the distance between the task-specific policies and the cross-learned policy. To solve the resulting optimization problem, we resort to a projected policy gradient algorithm and prove that it converges to a near-optimal solution with high probability. We evaluate our methodology with a navigation example in which agents can move through environments with obstacles of multiple shapes and avoid obstacles not trained for.

연구 동기 및 목표

• 동적 또는 새로운 환경에서 표준 단일태스크 강화학습의 샘플 비효율성과 열악한 일반화 성능를 해결한다.
• 다른 태스크를 수행하는 여러 에이전트 간의 협업 학습을 가능하게 하기 위해 공유 중심 정책을 도입한다.
• 학습 중에 볼 수 없었던 태스크에 대해 정책의 일반화 성능를 향상시켜 메타학습의 행동을 모방한다. 이는 사전 태스크 분포 지식이 없어도 가능하다.
• 고차원 커널 표현을 고려할 때도 수렴 보장을 유지하는 연속 정책에 대한 확장 가능한 최적화 방법을 개발한다.
• 학습 데이터에 존재하지 않는 새로운 장애물 기하학적 형태를 포함하는 탐색 태스크에서의 강건성을 입증한다.

제안 방법

• 각 태스크별 정책가 공유 중심 정책으로부터 정해진 거리 이내에 있도록 제약하는 다중태스크 RL 문제를 재생 커널 힐버트 공간(RKHS)에서 제약 최적화 문제로 공식화한다.
• 크로스러닝 제약 조건으로 정의된 탈출 가능 영역에 정책를 사영하기 위해 이차제약이 있는 이차계획문제(QCQP)를 사용하여 중심 정책에 가까운 정책를 확보한다.
• 연결 제약 조건의 단순화된 평균 만족도 이완을 제안하여 계산 비용을 감소시키고 닫힌 형태의 사영을 가능하게 한다.
• 부분 관측 가능성과 분산 감소를 위해 확률적 경사 추정치를 사용하는 사영 정책 경사 알고리즘을 구현한다.
• 메모리 폭주를 방지하기 위해 커널 근사 기법(예: 니스트롬 방법)을 적용하여 커널 표현의 차원을 감소시킨다.
• 기울기 노름과 중심 정책에 대한 정책의 근접도를 기반으로 한 정지 기준을 도입하여 근사 최적해에 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 RKHS 내 공유 중심 정책가 관련되지만 서로 다른 강화학습 태스크 간의 일반화 성능를 향상시키는가?
• RQ2 크로스러닝은 표준 단일태스크 RL에 비해 샘플 효율성과 새로운 태스크에서의 성능에서 어떻게 비교되는가?
• RQ3 확률적 경사와 커널 기반 함수 근사에서 사영 정책 경사 방법의 수렴 행동은 어떠한가?
• RQ4 제안된 방법은 학습 중에 볼 수 없었던 장애물 구성에 대해 탐색 환경에서 일반화 가능한가?
• RQ5 연결 제약 조건의 이완이 성능와 계산 복잡도에 미치는 영향는 어떠한가? 이때 수렴 보장은 유지되는가?

주요 결과

• 제안된 크로스러닝 방법은 모든 학습된 태스크에서 잘 일반화되는 중심 정책을 생성하며, 단일태스크 학습에 비해 개별 태스크별 정책의 성능를 향상시킨다.
• 사영 정책 경사 알고리즘이 기울기 분산과 리프시츠 연속성에 대한 표준 가정 하에 근사 최적해의 이웃으로 높은 확률로 수렴함을 증명하였다.
• 평균 제약 조건 만족도 이완 형식은 닫힌 형태의 해를 허용하여 계산 비용을 감소시키고 분석을 단순화하면서도 수렴 보장을 유지한다.
• 다양한 장애물 형태를 포함하는 탐색 태스크에서 크로스러닝 정책는 학습 중에 볼 수 없었던 새로운 장애물 기하학적 형태에 대해 태스크별 정책보다 뛰어난 성능를 보였다.
• 공유 정책 구조와 커널 기반 함수 근사 덕분에 태스크 수가 증가하더라도 강건한 성능를 유지한다.
• 이론적 분석을 통해 알고리즘이 기울기 추정 오차와 정책 갱신 단계에서 유한한 오차를 유지하며, 수렴 속도는 커널 근사 품질과 기울기 분산의 상한선에 따라 달라진다.