[논문 리뷰] Suboptimality bounds for stochastic shortest path problems

Eric A. Hansen|arXiv (Cornell University)|2011. 07. 14.

Reinforcement Learning in Robotics참고 문헌 14인용 수 7

한 줄 요약

이 논문은 보다 제한적인 경우인 적절한 정책과 할인 문제를 초월하여 확률적 최단경로 문제에 대한 부분최적성 경계를 계산하기 위한 방법을 제안한다. 이는 벨먼 잔차를 사용하며, 전이 비용이 양수일 경우 정책이 부적절하더라도 이러한 경계가 효율적으로 계산될 수 있음을 보여주며, 비용 제약이 없는 일반적인 경우에 대한 初기 결과도 제시한다.

ABSTRACT

We consider how to use the Bellman residual of the dynamic programming operator to compute suboptimality bounds for solutions to stochastic shortest path problems. Such bounds have been previously established only in the special case that policies are proper, in which case the dynamic programming operator is known to be a contraction, and have been shown to be easily computable only in the more limited special case of discounting. Under the condition that transition costs are positive, we show that suboptimality bounds can be easily computed even when not all policies are proper. In the general case when there are no restrictions on transition costs, the analysis is more complex. But we present preliminary results that show such bounds are possible.

연구 동기 및 목표

• 이전 접근 방식의 제한을 초월하여 확률적 최단경로 문제에서 부분최적성 경계를 계산하는 방법을 개발하는 것.
• 이전에 할인 문제 또는 적절한 정책에 대해서만 유효했던 부분최적성 경계를 부적절한 정책에까지 확장하는 것.
• 전이 비용이 양수일 조건 하에서 계산 가능한 부분최적성 경계를 확립하는 것.
• 전이 비용에 제약이 없는 일반적인 경우에서 이러한 경계를 유도할 수 있는지 탐색하는 것.

제안 방법

• 동적 프ogramming 연산자의 벨먼 잔차를 부분최적성 경계를 유도하는 핵심 요소로 활용하는 방법.
• 전이 비용이 양수일 경우 동적 프로그래밍 연산자의 구조에 맞춰진 분석 기법을 적용하는 것.
• 양수 비용 케이스에서 연산자의 수축 성질을 이용하여 날카운, 계산 가능한 경계를 도출하는 접근 방식.
• 비용 제약이 없는 일반적인 경우에서는 부분적인 분석 기법을 활용하여 부분최적성 경계의 존재 가능성을 탐색하는 것.
• 특히 양수 비용 영역에서 계산 효율성이 높도록 설계된 프레임워크.

실험 결과

연구 질문

• RQ1 정책이 반드시 적절하지 않은 경우에도 확률적 최단경로 문제에 대해 부분최적성 경계를 효율적으로 계산할 수 있는가?
• RQ2 전이 비용이 양수일 경우 벨먼 잔차는 부분최적성과 어떻게 관련이 있는가?
• RQ3 부적절한 정책로의 부분최적성 경계 확장을 가능하게 하는 조건은 무엇인가?
• RQ4 임의의 전이 비용이 허용되는 일반적인 경우에서 부분최적성 경계를 도출할 수 있는가?

주요 결과

• 전이 비용이 양수일 경우 정책이 비적절하더라도 부분최적성 경계를 효율적으로 계산할 수 있다.
• 벨먼 잔차는 이 설정에서 부분최적성을 추정하는 신뢰할 수 있고 계산 가능한 측정 기준을 제공한다.
• 이 방법은 이전에 할인 문제나 적절한 정책에 국한된 결과를 일반화한다.
• 초기 결과에 따르면 전이 비용에 제약이 없더라도 부분최적성 경계를 도출할 수 있을 가능성이 있으나, 분석은 더 복잡하다.