[논문 리뷰] The Laplacian in RL: Learning Representations with Efficient Approximations

Yifan Wu, George Tucker외 1명|arXiv (Cornell University)|2018. 10. 10.

Reinforcement Learning in Robotics참고 문헌 15인용 수 7

한 줄 요약

이 논문은 확률적 미니배치 업데이트를 통해 최적화되는 스펙트럼 그래프 드로잉 목적함수를 사용하여 강화학습에서 라플라시안 기반 상태 표현을 학습하기 위한 확장 가능하고 모델에 종속되지 않는 방법을 제안한다. 이는 기존 방법들보다 라플라시안 고유벡터를 더 잘 근사하며, 특히 타블라르가 아닌 설정에서 성능이 뛰어나며, 학습된 보상 형상화를 통해 목표 달성 작업에서 더 높은 샘플 효율성을 보인다.

ABSTRACT

The smallest eigenvectors of the graph Laplacian are well-known to provide a succinct representation of the geometry of a weighted graph. In reinforcement learning (RL), where the weighted graph may be interpreted as the state transition process induced by a behavior policy acting on the environment, approximating the eigenvectors of the Laplacian provides a promising approach to state representation learning. However, existing methods for performing this approximation are ill-suited in general RL settings for two main reasons: First, they are computationally expensive, often requiring operations on large matrices. Second, these methods lack adequate justification beyond simple, tabular, finite-state settings. In this paper, we present a fully general and scalable method for approximating the eigenvectors of the Laplacian in a model-free RL context. We systematically evaluate our approach and empirically show that it generalizes beyond the tabular, finite-state setting. Even in tabular, finite-state settings, its ability to approximate the eigenvectors outperforms previous proposals. Finally, we show the potential benefits of using a Laplacian representation learned using our method in goal-achieving RL tasks, providing evidence that our technique can be used to significantly improve the performance of an RL agent.

연구 동기 및 목표

• 기존의 라플라시안 고유벡터 근사 방법이 갖는 계산의 비가역성과 일반화의 한계를 해결하기 위해.
• 행동 정책 하에서 상태 전이의 진정한 기하학적 구조를 반영하는 효율적이고 확장 가능한 상태 표현 학습을 가능하게 하기 위해.
• 표면적으로는 타블라르이고 유한한 상태 환경을 넘어서도 적용 가능한 이론적으로 타당한 일반 목적의 방법을 제공하기 위해.
• 학습된 라플라시안 표현이 보상 형상화를 통해 정책 학습을 향상시키는 데 실용적인 유용성을 실증적으로 검증하기 위해.
• 라플라시안 기반 표현이 이산 그리드월드와 연속 제어 환경 모두에서 학습을 가속화할 수 있음을 보여주기 위해.

제안 방법

• 상태 표현 학습을 스펙트럼 그래프 드로잉 목적함수 최적화 문제로 설정하며, 이 목적함수의 전역 최적해는 그래프 라플라시안의 가장 작은 고유벡터를 제공한다.
• 함수 근사 기법을 사용해 임bedding 네트워크를 매개변수화하여, 샘플링된 상태 전이의 미니배치를 대상으로 확률적 경사 하강법을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 목적함수는 레일리 몫에서 유도되며, 전체 행렬 고유분해가 필요 없이도 라플라시안 고유벡터를 근사한다.
• 이 방법은 완전히 모델에 종속되지 않으며, 경험 리PLAY 데이터를 직접적으로 사용하므로 온라인 및 확률적 강화학습 설정에 적합하다.
• 이 방법은 장애물과 연결성 등을 포함한 상태 공간의 내재 기하학적 특성을 반영하는 표현을 학습한다. 이는 그리드월드에서 관찰할 수 있다.
• 학습된 임베딩 공간에서의 L2 거리 계산을 통해 보상 형상화를 가능하게 하여, 원시 좌표나 희박한 보상보다 더 정확한 도달 가능성 반영이 가능하다.

실험 결과

연구 질문

• RQ1 모델에 종속되지 않는 강화학습에서, 비용이 많이 드는 행렬 연산 없이도 그래프 라플라시안의 가장 작은 고유벡터를 근사할 수 있는 확장 가능한 일반 목적의 방법이 존재하는가?
• RQ2 제안된 방법이 타블라르이고 유한한 상태 환경을 넘어서 연속적이거나 고차원 상태 공간으로 일반화되는가?
• RQ3 이 방법을 통해 학습된 라플라시안 기반 표현이 목표 달성 강화학습 작업에서 샘플 효율성을 향상시킬 수 있는가?
• RQ4 학습된 라플라시안 임베딩을 기반으로 한 보상 형상화의 성능이 희박한 보상이나 원시 좌표의 L2 거리와 비교해 어떻게 되는가?
• RQ5 상태 공간과 목표 공간이 직접로 대응되지 않는 연속 제어 환경에서도 이 방법이 강건하고 효과적인가?

주요 결과

• 제안된 방법은 기존 방법들보다 라플라시안 고유벡터를 더 잘 근사하며, 특히 원시 특징가 잘 구조화되어 있지 않은 비타블라르 설정에서 뚜렷한 성능 향상을 보였다.
• TwoRooms 및 HardMaze와 같은 그리드월드 환경에서, 학습된 라플라시안 표현은 환경의 동역학을 정확히 반영하는 보상 형상화를 생성하며, 잘못된 국소 최적점(스파urious local optima)을 피하는 데 성공했다.
• DQN 기반 에이전트에서 학습 속도가 크게 향상되었으며, '믹스'(학습된 L2 거리와 희박한 보상의 혼합) 버전이 TwoRooms와 HardMaze에서 모든 베이스라인보다 뛰어난 성능을 보였다.
• DDPG를 사용한 연속 제어 작업에서는 '믹스' 및 '풀믹스'(목표 또는 전체 상태 공간의 임베딩을 사용) 버전 모두가 모든 베이스라인보다 뛰어난 성능을 달성했다.
• 복잡한 동역학과 장애물이 존재하는 환경에서 최적 정책에 더 빨리 수렴하는 데에 학습된 표현이 효과적임을 보였다.
• 상태 공간과 목표 공간이 직접로 대응되지 않는 경우에도 이 방법이 효과적이었으며, 표현의 비일치에 대해 강건함을 시사했다.