[논문 리뷰] Metrics for Finite Markov Decision Processes

Norm Ferns, Prakash Panangaden외 1명|arXiv (Cornell University)|2012. 07. 11.

Reinforcement Learning in Robotics참고 문헌 14인용 수 52

한 줄 요약

이 논문은 유한 MDP에서 상태 유사도를 측정하기 위한 새로운 메트릭을 소개한다. 이 메트릭은 확률적 바이심일레이션 기반으로 하며, 향후 보상에서 상태가 어떻게 행동하는지의 유사성을 수량화함으로써 강화학습에서 상태 집합화와 가치 함수 근사 향상에 기여한다. 이론적 경계는 메트릭 거리와 최적 상태 값 간의 관계를 연결한다.

ABSTRACT

We present metrics for measuring the similarity of states in a finite Markov decision process (MDP). The formulation of our metrics is based on the notion of bisimulation for MDPs, with an aim towards solving discounted infinite horizon reinforcement learning tasks. Such metrics can be used to aggregate states, as well as to better structure other value function approximators (e.g., memory-based or nearest-neighbor approximators). We provide bounds that relate our metric distances to the optimal values of states in the given MDP.

연구 동기 및 목표

• 유한 MDP에서 상태 유사도를 수량화하는 공식적인 메트릭을 개발하여 강화학습에 활용하기 위해.
• 작은 메트릭 거리를 가진 상태들을 군집화하여 상태 집합화를 가능하게 하여 MDP의 복잡도를 감소시키기 위해.
• 메모리 기반 또는 최근접 이웃 방법과 같은 가치 함수 근사기법의 성능을 구조화된 상태 표현을 통해 향상시키기 위해.
• 할인 무한 수평 MDP에서 메트릭 거리와 최적 상태 값 간의 이론적 경계를 수립하기 위해.
• 가치 함수 정확도를 유지하는 상태 추상화를 위한 체계적인 기반을 제공하기 위해.

제안 방법

• MDP에서 행동 유사성을 캡처하는 확률적 바이심일레이션 개념에 기반한 메트릭을 정의한다.
• 수축 사상 원리를 사용하여 상태 간의 거리 함수를 구성함으로써 대칭성 및 삼각 부등식과 같은 메트릭 성질을 보장한다.
• 가치 함수 정확도에 큰 손실 없이 안전하게 집합화할 수 있는 상태를 식별하기 위해 메트릭을 활용한다.
• 기대 향후 보상과 전이 확률을 포함한 고정점 방정식을 통해 메트릭을 수식화한다.
• 특히 메모리 기반 및 최근접 이웃 방법에서 근사화를 지도하기 위해 메트릭을 적용한다.
• 두 상태 간의 메트릭 거리와 그들의 최적 가치 함수 차이 간의 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 유한 MDP에서 상태 유사도는 어떻게 공식적으로 수량화할 수 있으며, 이는 가치 함수 근사에 어떻게 기여하는가?
• RQ2 강화학습에서 가치 함수 정확도를 유지하기 위해 상태 유사도 메트릭이 만족해야 할 조건은 무엇인가?
• RQ3 제안된 메트릭은 MDP의 최적 가치 함수와 어떻게 관련이 있는가?
• RQ4 무한 수평 할인 MDP에서 성능을 유지하면서 메트릭을 효과적으로 상태 집합화에 활용할 수 있는가?
• RQ5 이 메트릭 기반 추상화를 사용한 가치 함수 근사에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 메트릭은 대칭성과 삼각 부등식을 포함한 모든 메트릭 공리(axiom)를 만족하여 수학적 강건성을 확보한다.
• 두 상태 간의 메트릭 거리는 그들의 최적 가치 함수의 차이에 대한 함수로 유계되어 있으며, 이는 메트릭 사용에 대한 이론적 정당성을 제공한다.
• 작은 메트릭 거리를 가진 상태들은 가치 함수 근사 정확도를 유지하면서 안전하게 집합화할 수 있다.
• 행동 유사성에 기반한 구조화된 상태 표현을 통해 메트릭은 메모리 기반 및 최근접 이웃 가치 함수 근사기법의 성능 향상에 기여한다.
• 이론적 경계는 할인율이 적용될 경우 메트릭 거리가 가치 함수 차이를 밀도 있게 추정함을 보여주며, 특히 할인율이 적용되는 경우에 유의미하다.
• 이 방법은 일반적인 유한 MDP에 적용 가능하며, 상태 추상화를 통해 확장 가능한 학습을 지원한다.