[논문 리뷰] Metrics and continuity in reinforcement learning

Charline Le Lan, Marc G. Bellemare외 1명|arXiv (Cornell University)|2021. 02. 02.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 연속 상태 MDP에서 강화학습의 학습 성능에 이론적이고 경험적으로 영향을 미치는 상태공간 위상 구조를 정의하기 위해 거리함수를 사용하는 통합 형식론을 제안한다. 거리함수를 통한 상태 유사도의 형식화로 일반화 능력 향상이 가능해지고, 표본 효율적인 RL 알고리즘 설계를 위한 기반을 마련한다.

ABSTRACT

In most practical applications of reinforcement learning, it is untenable to maintain direct estimates for individual states; in continuous-state systems, it is impossible. Instead, researchers often leverage {\em state similarity} (whether explicitly or implicitly) to build models that can generalize well from a limited set of samples. The notion of state similarity used, and the neighbourhoods and topologies they induce, is thus of crucial importance, as it will directly affect the performance of the algorithms. Indeed, a number of recent works introduce algorithms assuming the existence of well-behaved neighbourhoods, but leave the full specification of such topologies for future work. In this paper we introduce a unified formalism for defining these topologies through the lens of metrics. We establish a hierarchy amongst these metrics and demonstrate their theoretical implications on the Markov Decision Process specifying the reinforcement learning problem. We complement our theoretical results with empirical evaluations showcasing the differences between the metrics considered.

연구 동기 및 목표

• 직접적인 상태 추정이 불가능한 연속 상태 강화학습에서 일반화 문제를 다루기 위해.
• 원칙적인 거리함수 기반 프레임워크를 사용해 상태 유사도 개념과 그에 의해 유도되는 위상 구조를 형식화하기 위해.
• 거리함수의 위계를 수립하고, MDP와 학습 수렴성에 대한 이론적 영향을 분석하기 위해.
• 실제 강화학습 환경에서 다양한 거리함수 가정 하에 알고리즘 성능에 미치는 영향을 경험적으로 평가하기 위해.

제안 방법

• 거리함수를 통한 상태공간 위상 구조 정의를 가능하게 하는 형식적 프레임워크를 제안하여 상태 간의 체계적 일반화를 가능하게 한다.
• Lp 노름, 커널 기반 거리함수 등 다양한 거리함수의 위계를 도입하고, MDP 맥락에서의 성질을 분석한다.
• 거리함수 선택과 표본 효율성 및 강화학습 알고리즘의 수렴 행동 간 이론적 관계를 유도한다.
• 커널 기반 거리함수를 사용해 은밀한 이웃 구조를 정의하고 연속 공간에서 함수 근사 가능성을 확보한다.
• 기본 벤치마크 강화학습 환경에서 다양한 거리함수 가정 하에 학습 동역학을 비교하기 위해 경험적 평가를 수행한다.
• 유도된 위상 구조와 이웃 구조를 분석하여 가치함수 일반화에 적합한지 평가한다.

실험 결과

연구 질문

• RQ1 다양한 거리함수 선택이 상태공간의 위상과 강화학습에서의 일반화에 어떤 영향을 미치는가?
• RQ2 상태공간에 체계적인 거리함수를 사용할 경우 강화학습 알고리즘에 어떤 이론적 보장을 도출할 수 있는가?
• RQ3 거리함수의 위계가 연속 상태 MDP에서의 표본 효율성과 수렴성에 어떤 영향을 미치는가?
• RQ4 실제로 가치함수 근사에 가장 효과적인 이웃 구조를 유도하는 거리함수는 무엇인가?

주요 결과

• 거리함수의 선택은 상태공간의 위상에 중대한 영향을 미치며, 이는 연속 상태 강화학습에서의 일반화 및 학습 성능에 영향을 준다.
• 특정 거리함수(예: 커널 기반)는 더 부드러운 이웃 구조 덕분에 더 나은 일반화를 가능하게 하는 거리함수의 위계를 수립하였다.
• 이론적 분석을 통해 잘 선택된 거리함수는 가치함수 학습의 표본 효율성과 안정성을 향상시킨다.
• 경험적 결과는 다양한 거리함수 가정 하에 학습 속도와 최종 성능에 명백한 차이가 있음을 보여주었다.