[논문 리뷰] Plannable Approximations to MDP Homomorphisms: Equivariance under Actions

Elise van der Pol, Thomas Kipf외 2명|arXiv (Cornell University)|2020. 02. 27.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 결정론적 MDP의 잠재 표현에서 동작 등변성을 강제하는 대비 학습 방법을 제안한다. 이는 입력 공간에서의 상태 전이가 잠재 공간에서도 동일하게 반영됨을 보장한다. 손실이 0일 경우, 이 방법은 MDP 호모모르피즘을 도출하며, 추상 MDP에서 값 반복을 통해 정확한 계획 수립이 가능하고, 최적 정책을 원래 MDP로 성공적으로 이식할 수 있으며, 새로운 목표로의 강력한 일반화 성능을 보인다.

ABSTRACT

This work exploits action equivariance for representation learning in reinforcement learning. Equivariance under actions states that transitions in the input space are mirrored by equivalent transitions in latent space, while the map and transition functions should also commute. We introduce a contrastive loss function that enforces action equivariance on the learned representations. We prove that when our loss is zero, we have a homomorphism of a deterministic Markov Decision Process (MDP). Learning equivariant maps leads to structured latent spaces, allowing us to build a model on which we plan through value iteration. We show experimentally that for deterministic MDPs, the optimal policy in the abstract MDP can be successfully lifted to the original MDP. Moreover, the approach easily adapts to changes in the goal states. Empirically, we show that in such MDPs, we obtain better representations in fewer epochs compared to representation learning approaches using reconstructions, while generalizing better to new goals than model-free approaches.

연구 동기 및 목표

• 재구성 손실에 의존하지 않고 고차원의 연속적 MDP에서 구조적이고 계획 가능한 표현을 학습하는 데 도전하는 것.
• 입력 공간에서의 전이가 잠재 공간에서도 동일한 전이로 반영되도록 잠재 공간에서의 동작 등변성을 강제하는 것.
• 학습된 표현에서 추상 MDP를 구성하여 값 반복을 통한 정확한 계획 수립을 가능하게 하는 것.
• 재훈련 없이도 새로운 목표 상태로의 제로샷 전이를 가능하게 하여 학습된 호모모르피즘의 구조적 불변성을 활용하는 것.
• 모델-프리 및 재구성 기반 표현 학습 방법에 비해 데이터 효율성과 일반화 성능을 향상시키는 것.

제안 방법

• 동작 등변성을 강제하기 위해 대비 손실 함수를 설계하여, 상태 전이의 잠재 표현이 해당 동작 임bedding 하에 그 전이의 잠재 표현으로 이동함을 보장한다.
• 원래 상태 공간에서 잠재 공간으로의 사상 Z를 학습하여 Z(T(s,a)) = T̄(Z(s), Âs(a))를 만족시키며, MDP 호모모르피즘 조건을 충족한다.
• 다음 상태 예측, 보상 예측, 음성 샘플링을 조합하여 잠재 공간의 붕괴를 방지하고 표현 품질을 향상시킨다.
• 학습된 잠재 표현과 해당 전이 및 보상 함수를 사용하여 추상 MDP를 구성하여 값 반복을 통한 계획 수립을 가능하게 한다.
• 각 상태별로 동작 임베딩 Âs(a)를 학습하여 동작이 잠재 공간에 어떻게 영향을 미치는지 모델링함으로써 전이 함수와의 가환성을 확보한다.
• 재구성에 의존하지 않고 등변성을 통한 구조적 불변성에 초점을 두어 훈련 비용을 감소시키고 의사결정에 관련된 특징을 강조한다.

실험 결과

연구 질문

• RQ1 대비 손실을 통해 결정론적 MDP에서 정확한 계획에 적합한 표현을 학습하기 위해 동작 등변성을 강제할 수 있는가?
• RQ2 학습된 표현이 어떤 조건에서 유효한 MDP 호모모르피즘을 이룬다?
• RQ3 추상 MDP에서의 계획이 원래 MDP로 성공적으로 이식된 정책을 도출할 수 있는가?
• RQ4 추가적인 훈련 없이도 새로운 목표 상태로의 일반화 성능은 얼마나 우수한가?
• RQ5 이 방법은 재구성 기반 및 모델-프리 표현 학습 방법에 비해 데이터 효율성과 일반화 성능에서 뛰어나게 되는가?

주요 결과

• 제안된 손실이 0일 경우, 결정론적 MDP에 대해 학습된 사상이 증명 가능하게 MDP 호모모르피즘임을 보장하며, 이는 추상 MDP에서의 최적 정책이 원래 MDP로 정확히 이식될 수 있음을 보장한다.
• 재구성 기반 방법에 비해 더 적은 훈련 에포크 수로 더 나은 표현을 달성함을 보여주며, 수렴 속도가 빠르고 훈련 손실이 낮음을 확인할 수 있다.
• 추가적인 기울기 업데이트 없이도 새로운 목표 상태로 효과적으로 일반화되며, 강력한 제로샷 전이 능력을 입증한다.
• 학습된 잠재 공간은 원래 MDP의 그래프 구조를 유지하여 값 반복을 통한 정확한 계획을 가능하게 한다.
• 유사한 역학을 가진 새로운 MDP 인스턴스로의 일반화 성능이 뛰어나 목표 상태의 분포 변화에 대해 강건함을 보인다.
• 측정된 새로운 목표 상태에서의 정책 성능로 볼 때, 모델-프리 기반 방법에 비해 새로운 목표로의 일반화 성능에서 뛰어나다.