[논문 리뷰] Methods for computing state similarity in Markov Decision Processes

Norman Ferns, Pablo Samuel Castro외 2명|arXiv (Cornell University)|2012. 06. 27.

Fault Detection and Control Systems참고 문헌 10인용 수 17

한 줄 요약

이 논문은 계산 비용이 높은 캄토로비치 거리(metric)를 대체하기 위해 네트워크 최적화와 통계적 샘플링을 활용하여 마코프 결정 과정(MDPs) 내 상태 유사도를 효율적으로 계산하는 방법을 제안한다. 시간 및 공간 복잡도를 포기함으로써 저자들은 높은 품질의 상태 집합화를 유지하는 실용적인 거리 함수를 도입하였으며, 실험적 검증을 통해 히우리스틱 기반 접근법에 비해 상당한 성능 향상을 보였다.

ABSTRACT

A popular approach to solving large probabilistic systems relies on aggregating states based on a measure of similarity. Many approaches in the literature are heuristic. A number of recent methods rely instead on metrics based on the notion of bisimulation, or behavioral equivalence between states (Givan et al, 2001, 2003; Ferns et al, 2004). An integral component of such metrics is the Kantorovich metric between probability distributions. However, while this metric enables many satisfying theoretical properties, it is costly to compute in practice. In this paper, we use techniques from network optimization and statistical sampling to overcome this problem. We obtain in this manner a variety of distance functions for MDP state aggregation, which differ in the tradeoff between time and space complexity, as well as the quality of the aggregation. We provide an empirical evaluation of these trade-offs.

연구 동기 및 목표

• MDP 상태 유사도 계산에서 캄토로비치 거리의 높은 계산 비용을 해결하기 위해.
• 정확도, 시간, 공간 복잡도를 균형 잡은 캄토로비치 거리의 실용적 대체 방법을 개발하기 위해.
• 최적화 및 샘플링 기법을 활용하여 대규모 MDP에서의 확장 가능한 상태 집합화를 가능하게 하기 위해.
• 계산 비용과 집합화 품질 측면에서 다양한 거리 계산 방법 간의 상호 교환 가능성을 실험적으로 평가하기 위해.

제안 방법

• 논문은 계산 복잡도를 감소시키기 위해 캄토로비치 거리의 근사해를 구하기 위해 네트워크 최적화 기법을 사용한다.
• 통계적 샘플링을 적용하여 상태 분포 간의 캄토로비치 거리를 추정함으로써 더 빠른 계산을 가능하게 한다.
• 상태 유사도를 선형 프로그래밍 문제로 공식화하고, 이를 전용 네트워크 플로우 알고리즘으로 해결한다.
• 빠름과 정확도를 균형 잡기 위해 샘플링 전략과 최적화 제약 조건이 다른 다양한 방법의 변종을 제안한다.
• 정확한 계산과 근사 계산 모두를 지원하며, 정밀도와 효율성 간의 조정 가능한 트레이드오프를 제공한다.

실험 결과

연구 질문

• RQ1 정확도를 희생하지 않고 MDP 내 상태 유사도 계산에 대해 캄토로비치 거리를 효율적으로 근사화할 수 있는 방법은 무엇인가?
• RQ2 상태 유사도 계산에서 계산 시간, 메모리 사용량, 정확도 사이의 상호 교환 가능한 관계는 무엇인가?
• RQ3 네트워크 최적화와 샘플링 기법이 대규모 MDP에서 정확한 캄토로비치 계산을 효과적으로 대체할 수 있는가?
• RQ4 다양한 근사 전략은 상태 집합화 성능 측면에서 어떻게 상호 비교되는가?

주요 결과

• 제안된 방법들은 정확한 캄토로비치 거리 계산에 비해 상태 유사도 계산의 계산 비용을 상당히 감소시켰다.
• 샘플링 기반 근사 방법은 정확한 방법과 유사한 수준의 상태 집합화 품질을 달성하면서도 상당한 속도 향상을 보였다.
• 네트워크 최적화 기법을 통해 기저의 선형 프로그래밍 문제를 효율적으로 해결함으로써 대규모 MDP에 대한 확장성이 확보되었다.
• 실험적 평가를 통해 응용 요구사항에 따라 정확도와 효율성 간의 트레이드오프를 효과적으로 조정할 수 있었다.