[논문 리뷰] Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks

Yuqian Jiang, Suda Bharadwaj외 4명|arXiv (Cornell University)|2020. 07. 03.

Reinforcement Learning in Robotics참고 문헌 24인용 수 8

한 줄 요약

이 논문은 평균 보상 강화 학습에서 보상 형상화를 위한 최초의 이론적 프레임워크를 제안하며, 도메인 지식을 시간 논리 공식을 통해 표현하고 이를 자동으로 형상화 함수로 변환함으로써 가능하게 한다. 이 방법은 학습 가속화를 가능하게 하면서도 최적 정책 복원을 보장하며, 샘플 효율성과 정확도가 떨어지는 지식에 대한 저항성에서, 보상 형상화가 없는 기준 및 실드 기반 기준보다 뛰어나다.

ABSTRACT

In continuing tasks, average-reward reinforcement learning may be a more appropriate problem formulation than the more common discounted reward formulation. As usual, learning an optimal policy in this setting typically requires a large amount of training experiences. Reward shaping is a common approach for incorporating domain knowledge into reinforcement learning in order to speed up convergence to an optimal policy. However, to the best of our knowledge, the theoretical properties of reward shaping have thus far only been established in the discounted setting. This paper presents the first reward shaping framework for average-reward learning and proves that, under standard assumptions, the optimal policy under the original reward function can be recovered. In order to avoid the need for manual construction of the shaping function, we introduce a method for utilizing domain knowledge expressed as a temporal logic formula. The formula is automatically translated to a shaping function that provides additional reward throughout the learning process. We evaluate the proposed method on three continuing tasks. In all cases, shaping speeds up the average-reward learning rate without any reduction in the performance of the learned policy compared to relevant baselines.

연구 동기 및 목표

• 계속되는 작업에 더 적합한 할인 보상보다는 평균 보상 강화 학습에서 보상 형상화의 이론적 프레임워크 부족 문제를 해결하기 위해.
• 직접 잠재 함수 설계가 필요 없도록 도메인 지식을 직관적인 시간 논리 공식으로 지정할 수 있도록 하기 위해.
• 제공된 지식이 정확하지 않더라도 원래 보상 하에서의 최적 정책가 형상화 후에도 유지됨을 보장하기 위해.
• 특히 희박하거나 지연된 보상을 가진 작업에서 성능 유지와 함께 학습의 샘플 효율성을 향상시키기 위해.

제안 방법

• 형상화 함수 F(s, a, s′) = Φ(s′, a∗) − Φ(s, a)를 기반으로 보상 형상화를 수식화하며, 여기서 a∗는 다음 상태에서 최적 Q-값을 최대화하는 행동이다.
• 최적 정책의 평균 보상이 형상화 후에도 그대로 유지됨을 보여줌으로써, 원래 평균 보상 MDP에서 최적 정책이 유지됨을 증명한다.
• 도메인 지식은 선형 시간 논리(LTL) 공식으로 표현되며, 원래 보상 크기의 정보가 필요 없이 자동으로 형상화 함수로 변환된다.
• 안정성 제약 조건을 위한 거의 확실 승리 영역을 계산하기 위해 LTL 공식을 표현하는 결정성 유한 오토마타(DFA)와 함께 제품 MDP 구조를 사용한다.
• 최적 Q-값과 상태-행동 잠재 함수로부터 형상화 함수를 유도함으로써, 수정된 MDP가 동일한 최적 정책을 유지함을 보장한다.
• 연속 작업 세 가지—영역 스위핑, 카트폴 제어, 격자 월드 이동 계획—에서 미분 Q-학습을 사용해 평가한다.

실험 결과

연구 질문

• RQ1 이전 연구가 할인 보상에 집중한 평균 보상 강화 학습 환경에서 보상 형상화를 이론적으로 정당화할 수 있는가?
• RQ2 시간 논리 공식에서 자동으로 형성된 형상화 함수가 평균 보상 MDP에서 최적 정책을 유지하는가?
• RQ3 연속 작업에서 보상 형상화가 없는 기준 및 실드 기반 기준과 비교해 샘플 효율성과 저항성에서 어떻게 성능을 내는가?
• RQ4 엄격한 강제 조건을 적용하는 실드와 달리, 제공된 도메인 지식이 정확하지 않더라도 이 방법은 여전히 최적 정책을 학습할 수 있는가?

주요 결과

• 제안된 보상 형상화 프레임워크는 최적 정책의 평균 보상이 형상화 후에도 그대로 유지됨을 증명함으로써, 원래 평균 보상 목표 하에서 최적 정책이 유지됨을 보였다.
• 모든 세 가지 평가된 연속 작업—지속적 영역 스위핑, 카트폴 제어, 격자 월드 이동 계획—에서, 보상 형상화가 없는 미분 Q-학습보다 빠른 수렴 속도를 달성했다.
• 제공된 도메인 지식이 정확하지 않은 경우에도, 이 방법은 여전히 최적 정책을 학습하고 기준 미분 Q-학습보다 뛰어난 성능을 보였으며, 실드 기반 방법은 잘못된 제약 조건을 엄격하게 강제함으로써 최적 정책을 학습하지 못했다.
• 이 방법은 뛰어난 샘플 효율성을 보였으며, 특히 희박 보상 환경에서 높은 성능에 도달하기 위해 필요한 상호작용 횟수를 감소시켰다.
• 시간 논리 공식에서 형상화 함수로의 자동 변환은 잠재 함수의 수동 조정이 필요 없게 하고 원래 보상 크기 의존성도 피함을 가능하게 하였다.
• 프레임워크는 도메인 지식의 명시 방식(LTL를 통한)과 학습 알고리즘을 효과적으로 분리하여, 전문가가 아닌 이들도 탐색을 효과적으로 이끌 수 있도록 했다.