[논문 리뷰] Multi-task Batch Reinforcement Learning with Metric Learning

Jiachen Li, Quan Vuong외 6명|arXiv (Cornell University)|2019. 09. 25.

Reinforcement Learning in Robotics참고 문헌 77인용 수 10

한 줄 요약

이 논문은 오프라인 데이터셋 간 분포 이탈 상황에서도 강건한 작업 추론을 향상시키기 위해 삼중체 손실을 통한 거리 학습을 활용하는 다중 작업 배치 강화 학습 방법인 MBML을 제안한다. 보다 어려운 음성 예제를 만들기 위해 보상 값을 재할당함으로써 정책이 상태-행동 상관관계가 아닌 보상에 주목하도록 유도함으로써, 새로운 작업에 대해 미세조정할 때 최대 80% 빠른 수렴을 달성한다.

ABSTRACT

We tackle the Multi-task Batch Reinforcement Learning problem. Given multiple datasets collected from different tasks, we train a multi-task policy to perform well in unseen tasks sampled from the same distribution. The task identities of the unseen tasks are not provided. To perform well, the policy must infer the task identity from collected transitions by modelling its dependency on states, actions and rewards. Because the different datasets may have state-action distributions with large divergence, the task inference module can learn to ignore the rewards and spuriously correlate $ extit{only}$ state-action pairs to the task identity, leading to poor test time performance. To robustify task inference, we propose a novel application of the triplet loss. To mine hard negative examples, we relabel the transitions from the training tasks by approximating their reward functions. When we allow further training on the unseen tasks, using the trained policy as an initialization leads to significantly faster convergence compared to randomly initialized policies (up to $80\%$ improvement and across 5 different Mujoco task distributions). We name our method $ extbf{MBML}$ ($ extbf{M} ext{ulti-task}$ $ extbf{B} ext{atch}$ RL with $ extbf{M} ext{etric}$ $ extbf{L} ext{earning}$).

연구 동기 및 목표

• 오프라인 데이터셋 간 상태-행동 분포 이탈이 큰 상황에서 다중 작업 배치 강화 학습의 일반화 능력이 열 劣하는 문제를 해결하기 위해.
• 데이터 분포 간 겹침이 부족하여 작업 추론 모듈이 상태-행동 쌍과 작업 정체성 간에 부도덕한 상관관계를 학습할 위험을 완화하기 위해.
• 지상 진실 작업 레이블에 접근할 수 없음에도 불구하고, 컨텍스트 전이로부터 작업 정체성을 정책이 추론할 수 있도록 하여 새로운 작업에 대한 제로샷 성능를 향상시키기 위해.
• 학습된 다중 작업 정책를 효과적인 초기화로 사용하여 새로운 작업에 대한 미세조정 속도를 빠르게 하기 위해.
• 보상 재할당을 통한 하드 음성 마이닝을 통한 거리 학습이 기존 방법보다 더 나은 일반화 성능을 이끌어내는지 입증하기 위해.

제안 방법

• 긍정적 및 부정적 컨텍스트 전이를 구분할 수 있도록 작업 임베딩 네트워크를 훈련하기 위해 삼중체 손실 목적함수를 도입한다.
• 각 작업의 보상 함수를 근사하여 다른 작업의 전이를 이 근사된 보상으로 재할당함으로써 하드 음성 예제를 생성한다.
• 삼중체 손실이 임베딩 공간에서 서로 다른 작업들 간의 분리를 장려하도록, 정책 네트워크는 상태-행동 쌍과 보상 둘 다를 사용하여 작업 정체성을 추론하도록 훈련된다.
• 공유된 표현과 작업별 헤드를 갖는 다중 작업 Q-네트워크 아키텍처를 사용하며, 다양한 작업의 오프라인 데이터를 통해 훈련한다.
• SAC와 같은 오프폴리시 알고리즘과 통합되며, 온폴리시 미세조정을 위한 초기화로 다중 작업 정책를 사용한다.
• 미세조정 성능 평가에 SAC의 변종을 사용하였고, 아블레이션 연구를 통해 보상 재할당과 삼중체 손실의 필요성이 입증되었다.

실험 결과

연구 질문

• RQ1 분포 이탈 상황에서 하드 음성 마이닝을 통한 거리 학습이 다중 작업 배치 RL의 작업 추론 강건성 향상에 기여하는가?
• RQ2 다른 작업의 보상을 재할당하는 것이 정책이 상태-행동 쌍과 작업 정체성 간에 부도덕한 상관관계를 학습하는 것을 방지하는가?
• RQ3 제안된 방법은 새로운 작업에 대한 제로샷 일반화에서 표준 오프라인 RL 기준선보다 어떻게 비교되는가?
• RQ4 다중 작업 정책가 새로운 작업에 대한 미세조정을 위한 효과적인 초기화로 얼마나 잘 기능하는가?
• RQ5 삼중체 손실, 보상 재할당, 다중 작업 훈련 각 성분이 전체 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 방법 MBML은 새로운 작업에 대한 미세조정 시 랜덤 초기화 정책에 비해 샘플 효율성에서 최대 80% 향상된다.
• 아블레이션 연구에서 삼중체 손실 또는 보상 재할당을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이들의 필수성을 입증한다.
• MBML은 AntDir, AntGoal, HDir, UGoal, HalfCheetahVel, WalkerParam 등 평가된 모든 작업 분포에서 PEARL 및 컨텍스트ual BCQ와 같은 강력한 기준선을 초월한다.
• 추론 시 지상 진실 작업 정체성 또는 보상 함수에 접근할 수 없음에도 불구하고, 새로운 작업으로의 일반화 성능가 뛰어나다.
• 전체 MBML 모델 훈련에 소요되는 런타임은 작업 분포에 따라 3.9에서 26.6시간까지 다양하며, MBML로 초기화된 SAC 미세조정은 상당히 빠른 편이다.