[논문 리뷰] Self-supervised Learning of Distance Functions for Goal-Conditioned Reinforcement Learning

Srinivas Venkattaramanujam, Eric Crawford외 2명|arXiv (Cornell University)|2019. 07. 05.

Reinforcement Learning in Robotics참고 문헌 23인용 수 11

한 줄 요약

이 논문은 정책 하에서 상태 간의 공과 시간의 제곱근을 예측하도록 신경망을 훈련시켜 목표 조건부 강화 학습을 위한 다이내믹스 인식 거리 함수를 학습하는 자기지도 학습 방법을 제안한다. 이 방법은 복잡한 환경에서 도메인 지식이 없는 온라인 학습을 가능하게 하여 수동으로 설계된 거리 메트릭스에 대한 의존도를 크게 줄이고, 샘플 효율성과 커리큘럼 학습을 향상시킨다.

ABSTRACT

Goal-conditioned policies are used in order to break down complex reinforcement learning (RL) problems by using subgoals, which can be defined either in state space or in a latent feature space. This can increase the efficiency of learning by using a curriculum, and also enables simultaneous learning and generalization across goals. A crucial requirement of goal-conditioned policies is to be able to determine whether the goal has been achieved. Having a notion of distance to a goal is thus a crucial component of this approach. However, it is not straightforward to come up with an appropriate distance, and in some tasks, the goal space may not even be known a priori. In this work we learn a distance-to-goal estimate which is computed in terms of the number of actions that would need to be carried out in a self-supervised approach. Our method solves complex tasks without prior domain knowledge in the online setting in three different scenarios in the context of goal-conditioned policies a) the goal space is the same as the state space b) the goal space is given but an appropriate distance is unknown and c) the state space is accessible, but only a subset of the state space represents desired goals, and this subset is known a priori. We also propose a goal-generation mechanism as a secondary contribution.

연구 동기 및 목표

• 목표 조건부 강화 학습을 위한 효과적인 거리 함수를 설계하는 데 있어 상당한 도메인 지식이 요구되는 문제를 해결하기 위해.
• L2 거리의 한계를 극복하여 실제 환경 전이 비용을 반영하는 다이내믹스 인식 거리 메트릭스를 학습하기 위해.
• 정책 학습과 함께 온라인, 자기지도 학습 방식으로 거리 함수를 훈련시켜 사전 정의된 목표 공간이나 리워드 형상화에 대한 의존도를 줄이기 위해.
• 학습된 거리 함수를 활용해 실현 가능하고 점차 어려워지는 목표를 선택하는 자동 커리큘럼 생성 메커니즘을 개발하기 위해.
• 온정책 거리 학습에서 관찰되는 확장되는 에프스론 구역 문제를 완화하기 위해.

제안 방법

• 행동 정책 하에서 상태 간의 공과 시간(양방향 첫 번째 통과 시간)의 제곱근을 거리로 정의한다.
• 학습된 임bedding의 p-노름이 이 공과 시간 기반 거리와 근사하도록 상태를 임bedding하는 신경망을 훈련시킨다.
• 정책이 수집한 온라인 경험을 활용해, 시간적 근접도를 기반으로 한 대비 손실을 사용해 거리 네트워크를 자기지도 방식으로 훈련시킨다.
• 그래프 라플라시안과의 연결을 활용해 이러한 임bedding 공간의 존재를 정당화하고 이론적 기반을 확보한다.
• 온정책 학습에서 관찰되는 확장되는 에프스론 구역 문제를 피하기 위해 거리 예측기의 오프정책 학습 방식을 구현한다.
• 학습된 거리 함수를 목표 조건부 정책 학습 파이프라인에 통합하여, 목표 공간에서 동작 노이즈를 활용한 자동 목표 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 환경의 진정한 다이내믹스를 반영하는 자기지도 거리 함수를 온라인으로 학습시킬 수 있는가, 즉 정적 상태 차이가 아닌 실제 전이 비용을 반영하는가?
• RQ2 거리 예측기의 온정책 및 오프정책 학습 간의 선택이 목표 조건부 학습 과정의 안정성과 확장성에 어떤 영향을 미치는가?
• RQ3 학습된 거리 함수가 고차원, 복잡한 환경에서 L2 거리와 같은 수동으로 설계된 메트릭스를 어느 정도 대체할 수 있는가?
• RQ4 학습된 거리 함수가 목표 공간에 대한 사전 지식 없이도 효과적인 자동 커리큘럼 학습을 가능하게 할 수 있는가?
• RQ5 온정책 거리 학습에서 관찰되는 확장되는 에프스론 구역 현상의 실용적 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 방법은 상태 간의 가까움이 곧 작업의 가까움을 의미하지 않는 환경에서 L2 거리보다 훨씬 뛰어난 성능을 보이는 다이내믹스 인식 거리 함수를 학습한다.
• 자기지도 거리 네트워크는 이론적 공과 시간 기반 거리와 성공적으로 근사하며, 상태 공간 내 전이 비용을 유지하는 임bedding을 생성한다.
• 온정책 학습에서 거리 예측기의 경우, 목표에 가까운 상태의 영역이 시간이 지남에 따라 점점 커지는 확장되는 에프스론 구역 현상이 발생하여 하이퍼파ram터 튜닝을 어렵게 한다.
• 오프정책 학습은 거리 함수를 안정화시키고 에프스론 구역의 확장을 방지하여, 신뢰할 수 있는 목표 평가 및 커리큘럼 학습에 더 적합하다.
• 이 방법은 동작 노이즈를 활용한 자동 목표 생성을 효과적으로 가능하게 하여, GAN 훈련이나 실현 가능성 검사 없이도 GoalGAN과 유사한 성능을 달성한다.
• Maze Ant 및 Free Ant 환경에서의 실험 결과는 이 방법이 도메인 지식 의존도를 줄이고 온라인 목표 조건부 RL의 샘플 효율성을 향상시킨다는 것을 보여준다.