[논문 리뷰] Symmetry Learning for Function Approximation in Reinforcement Learning

Anuj Mahajan, Theja Tulabandhula|arXiv (Cornell University)|2017. 06. 09.

Reinforcement Learning in Robotics참고 문헌 20인용 수 9

한 줄 요약

이 논문은 강화학습에서 함수 근사에 대한 대칭성 학습 프레임워크를 제안하며, 에피소드 보상 트레일에서 상태-행동 대칭성을 탐지하고 대칭 비용을 통해 이를 통합함으로써 샘플 효율성을 향상시킨다. 유사도 측정의 완전성을 증명하고, 보상 기반 보상 조정과 결합할 경우 그리드 월드 및 카트폴 환경에서 상태공간 차원이 증가함에 따라 뚜렷한 성능 향상을 보인다.

ABSTRACT

In this paper we explore methods to exploit symmetries for ensuring sample efficiency in reinforcement learning (RL), this problem deserves ever increasing attention with the recent advances in the use of deep networks for complex RL tasks which require large amount of training data. We introduce a novel method to detect symmetries using reward trails observed during episodic experience and prove its completeness. We also provide a framework to incorporate the discovered symmetries for functional approximation. Finally we show that the use of potential based reward shaping is especially effective for our symmetry exploitation mechanism. Experiments on various classical problems show that our method improves the learning performance significantly by utilizing symmetry information.

연구 동기 및 목표

• 환경의 대칭성을 활용하여 딥 강화학습의 샘플 효율성을 향상시키기.
• 환경의 구조에 대한 사전 지식 없이도 에피소드 경험에서 자동으로 대칭성을 탐지할 수 있는 방법을 개발하기.
• 검출된 대칭성을 대칭 비용을 통해 함수 근사에 통합하여 대칭 정책 학습을 장려하기.
• 대칭성 탐지와 잠재 기반 보상 조정을 결합하여 유사도 추정의 강건성과 데이터 구조 크기 감소를 위한 효과를 입증하기.
• 전통적 제어 과제에서 접근법을 검증하고 상태공간 차원 증가에 따른 확장성 입증하기.

제안 방법

• 에피소드 경험 중 관찰된 보상 시퀀스를 분석하여 보상 트레일 빈도 기반의 유사도 측정을 통해 대칭성을 탐지한다.
• 균일한 초기 상태 분포와 대칭 정책 실행 조건 하에서 유사도 측정의 완전성을 보장하기 위해 커플링 추론을 정의한다.
• 동일한 상태-행동 쌍 간의 정책이 대칭이 되도록 유도하기 위해 학습 목표에 대칭 비용을 도입한다.
• 유사도 추정의 정확도 향상과 대칭성 탐지에 필요한 데이터 구조 크기 감소를 위해 잠재 기반 보상 조정을 사용한다.
• 딥 Q네트워크 및 기타 함수 근사기구에 프레임워크를 적용하여 최소한의 계산 오버헤드로도 확장 가능한 대칭성 통합을 가능하게 한다.
• 상태-행동 쌍 간의 대칭 관계를 수학적으로 정의하기 위해 MDP 호모모르피즘을 이론적 기초로 활용한다.

실험 결과

연구 질문

• RQ1 강화학습 환경의 대칭성은 에피소드 보상 관찰에서 자동으로 탐지될 수 있는가?
• RQ2 제안된 상태-행동 쌍에 대한 유사도 측정은 대칭 정책 실행 조건 하에서 대칭 전이를 완전히 식별할 수 있는가?
• RQ3 검출된 대칭성을 대칭 비용을 통해 통합함으로써 딥 함수 근사에서 샘플 효율성이 어떻게 향상되는가?
• RQ4 잠재 기반 보상 조정은 대칭성 탐지의 강건성과 효율성에 어느 정도 기여하는가?
• RQ5 그리드 월드와 같은 환경에서 상태공간 차원이 증가함에 따라 대칭성 활용은 어떻게 확장되는가?

주요 결과

• 커플링 추론을 통해 대칭 정책 실행 조건 하에서 대칭 상태-행동 쌍에 대해 동일한 보상 시퀀스가 발생함을 증명함으로써, 제안된 대칭성 탐지 방법의 완전성이 입증되었다.
• 특히 상태공간 차원이 증가함에 따라 그리드 월드 및 카트폴 환경에서 대칭 정보를 활용함으로써 학습 성능이 뚜렷이 향상되었다.
• 그리드 월드에서는 빠른 수렴과 더 나은 샘플 효율성을 달성했으며, 기준 모델 대비 최대 1.43배 빠른 학습 속도를 기록했다.
• 카트폴 환경에서는 기준 모델 대비 최대 1.57배 빠른 학습 속도를 기록했지만, 더 뛰어난 샘플 효율성과 성능을 확보했다.
• 잠재 기반 보상 조정의 통합은 데이터 구조 크기를 감소시키고, 유사도 추정의 강건성을 향상시켜 대칭성 탐지 정확도를 높였다.
• 높은 차원의 환경에서도 프레임워크가 잘 확장되며, 대칭 수가 조합적으로 증가함에 따라 샘플 효율성 향상이 두드러진다 (예: d차원 그리드 월드에서 O(d!2^d)의 대칭성).