[논문 리뷰] Skill Transfer in Deep Reinforcement Learning under Morphological Heterogeneity

Yang Hu, Giovanni Montana|arXiv (Cornell University)|2019. 08. 14.

Reinforcement Learning in Robotics참고 문헌 61인용 수 4

한 줄 요약

이 논문은 깊이 강화 학습에서 형태가 다른 에이전트(MDA) 간의 스킬 전이를 가능하게 하기 위해 공유된 제어 요인과 에이전트별 특화된 요인을 분리하는 쌍체 변분 인코더-디코더(PVED) 모델을 제안한다. 이 방법은 원천 에이전트의 단일 작업 데이터만을 사용하여 샘플 효율적인 전이를 달성하며, 이론적 성능 한계와 사례 연구를 통한 검증을 통해 네 개의 MuJoCo 환경에서 뛰어난 성능과 해석 가능한 분리된 표현을 보여준다.

ABSTRACT

Transfer learning methods for reinforcement learning (RL) domains facilitate the acquisition of new skills using previously acquired knowledge. The vast majority of existing approaches assume that the agents have the same design, e.g. same shape and action spaces. In this paper we address the problem of transferring previously acquired skills amongst morphologically different agents (MDAs). For instance, assuming that a bipedal agent has been trained to move forward, could this skill be transferred on to a one-leg hopper so as to make its training process for the same task more sample efficient? We frame this problem as one of subspace learning whereby we aim to infer latent factors representing the control mechanism that is common between MDAs. We propose a novel paired variational encoder-decoder model, PVED, that disentangles the control of MDAs into shared and agent-specific factors. The shared factors are then leveraged for skill transfer using RL. Theoretically, we derive a theorem indicating how the performance of PVED depends on the shared factors and agent morphologies. Experimentally, PVED has been extensively validated on four MuJoCo environments. We demonstrate its performance compared to a state-of-the-art approach and several ablation cases, visualize and interpret the hidden factors, and identify avenues for future improvements.

연구 동기 및 목표

• 이중 보행 보행자와 한쪽 다리로 점프하는 보행자와 같은 형태가 다른 에이전트 간의 스킬 전이 문제를 해결하기 위해.
• 다양한 작업이나 에이전트의 광범위한 경험을 요구하지 않고도 샘플 효율적인 강화 학습 전이를 가능하게 하기 위해.
• 통합된 확률적 프레임워크 내에서 공유된 제어 메커니즘과 에이전트별 동역학을 분리하기 위해.
• 형태적 이질성 하에서 스킬 전이의 성능에 대한 이론적 보장을 제공하기 위해.
• 형태적 차이가 뚜렷한 다양한 MuJoCo 환경에서 이 방법의 효과성과 해석 가능성에 대한 실험적 검증을 위해.

제안 방법

• PVED 모델은 쌍체 변분 autoencoder 아키텍처를 사용하여 두 개의 형태가 다른 에이전트의 상태와 동작을 공유 잠재 요인과 개별 잠재 요인으로 동시에 인코딩한다.
• 공유 요소는 에이전트 간 제어 메커니즘의 조건부 분포를 모델링하는 확률적 인코더를 통해 추론되며, 개별 요소는 형태에 특화된 동역학을 캡처한다.
• 모델은 재구성 오차와 공유 및 개별 요소 분포 간의 KL 발산을 최소화하는 변분 추론 목적 함수를 사용하여 훈련된다.
• 이론적 분석을 통해 전이 오차가 공유 요소 분포와 형태적 분산에 따라 결정되며, 이는 KL 발산을 통해 정량화됨을 도출한다.
• 이 방법은 공유 요소를 사전 확률로 활용하여 타겟 에이전트에서 딥 강화 학습을 통한 정밀 조정을 가능하게 한다.
• 이 프레임워크는 해석 가능한 분리 표현을 지원하며, 보행 단계와 같은 공유된 제어 메커니즘에 대한 통찰을 가능하게 하는 잠재 공간 분석을 통해 시각화된다.

실험 결과

연구 질문

• RQ1 원천 에이전트의 단일 사전 훈련된 정책이 단일 작업의 경험만을 사용하여 형태가 다른 타겟 에이전트로 효과적으로 전이될 수 있는가?
• RQ2 다양한 형태 간의 효과적인 스킬 전이를 가능하게 하기 위해 공유된 제어 메커니즘을 어떻게 에이전트별 동역학에서 분리할 수 있는가?
• RQ3 공유 요소의 품질과 형태적 차이에 기반하여 전이 방법의 성능에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 분리된 잠재 요소가 균형, 흔들림 단계 등 의미 있는 제어 추상화로 해석될 수 있는 정도는 어느 정도인가?
• RQ5 다양한 이동 작업에서 최신 기술 대비 PVED 모델은 샘플 효율성과 최종 성능 측면에서 어떻게 비교되는가?

주요 결과

• PVED는 테스트한 네 개의 MuJoCo 환경 전반에서 상태 기반 기준 대비 뛰어난 샘플 효율성 향상을 달성하며, 성능이 뛰어난 베이스라인 방법을 초월한다.
• 정리 1에서 도출된 이론적 성능 한계는 전이 오차가 공유 요소 분포 간 KL 발산의 제곱근에 비례하는 항에 의해 제한됨을 보여주며, 공식적인 보장을 제공한다.
• 절단 실험을 통해 공유 요소와 개별 요소의 분리가 최적 성능을 위해 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하가 발생한다.
• 학습된 잠재 공간의 시각화 결과는 해석 가능한 분리 표현을 보여주며, 공유 요소는 초기 접촉, 균형 유지 등 추상화된 제어 단계를 나타내고, 개별 요소는 걷기 또는 점프와 같은 에이전트별 동작을 캡처한다.
• 이 방법은 큰 형태적 차이—예를 들어 이중 보행자에서 한쪽 다리로 점프하는 에이전트로의 전이—에도 일반화되어 있으며, 유사한 형태를 초월한 전이 가능성과 타당성을 입증한다.
• 원천 및 타겟 에이전트의 동작 공간과 동역학이 크게 다름에도 불구하고 안정적인 훈련과 일관된 성능 향상이 이루어진다.