[논문 리뷰] A Constrained Randomized Shortest-Paths Framework for Optimal Exploration

Bertrand Lebichot, Guillaume Guex외 2명|arXiv (Cornell University)|2018. 07. 12.

Traffic control and management참고 문헌 55인용 수 5

한 줄 요약

이 논문은 전이 확률에 등호 제약 조건과 엔트로피 정규화를 통합하여 마르코프 결정 과정에서 탐색과 이용의 최적 균형을 이루는 제약 조건이 있는 무작위 최단경로 프레임워크를 제안한다. 이는 소프트 벨먼-포드 업데이트와 라그랑주 이중성에 기반한 새로운 반복 알고리즘을 제안하며 수렴성을 증명하고 특정 조건 하에서 경로 적분 및 KL 제어 방법과의 동등성을 보여준다.

ABSTRACT

The present work extends the randomized shortest-paths framework (RSP), interpolating between shortest-path and random-walk routing in a network, in three directions. First, it shows how to deal with equality constraints on a subset of transition probabilities and develops a generic algorithm for solving this constrained RSP problem using Lagrangian duality. Second, it derives a surprisingly simple iterative procedure to compute the optimal, randomized, routing policy generalizing the previously developed "soft" Bellman-Ford algorithm. The resulting algorithm allows balancing exploitation and exploration in an optimal way by interpolating between a pure random behavior and the deterministic, optimal, policy (least-cost paths) while satisfying the constraints. Finally, the two algorithms are applied to Markov decision problems by considering the process as a constrained RSP on a bipartite state-action graph. In this context, the derived "soft" value iteration algorithm appears to be closely related to dynamic policy programming as well as Kullback-Leibler and path integral control, and similar to a recently introduced reinforcement learning exploration strategy. This shows that this strategy is optimal in the RSP sense - it minimizes expected path cost subject to relative entropy constraint. Simulation results on illustrative examples show that the model behaves as expected.

연구 동기 및 목표

• 특정 노드의 부분 집합에서 전이 확률에 대한 등호 제약 조건을 처리할 수 있도록 무작위 최단경로(RSP) 프레임워크를 확장하는 것.
• 라그랑주 이중성과 경로 기반 최적화를 사용하여 제약 조건이 있는 RSP 문제를 해결하는 일반적인 알고리즘을 개발하는 것.
• 최적의 무작위 정책을 계산하기 위한 효율적인 반복 절차—소프트 벨먼-포드 알고리즘과 유사한 방식—를 유도하는 것.
• 순차적 결정 문제에 대한 적용을 위해 마르코프 결정 과정을 이분 상태-행동 그래프 표현으로 표현하는 것.
• 제안된 방법과 기존의 제어 및 강화 학습 프레임워크, 예를 들어 경로 적분 제어 및 동적 정책 프로그래밍 간의 이론적 연결 고리를 설정하는 것.

제안 방법

• 상대 엔트로피(KL-발산) 제약 조건 하에서 기대 경로 비용을 최소화하는 제약 조건이 있는 RSP 문제를 설정하며, 특정 노드에서의 전이 확률에 등호 제약 조건을 포함한다.
• 라그랑주 이중성을 활용하여 최적 정책을 효율적으로 계산할 수 있는 이중 최적화 문제를 유도한다.
• 기준 전이 확률과 간선 비용에 기반한 소프트 벨먼-포드 유사 반복 알고리즘을 도입하여 최적의 자유 에너지 값을 계산한다.
• 온도 매개변수 θ를 통해 결정론적 최단경로(θ → ∞)와 균일한 무작위 보행(θ → 0) 사이를 보간한다.
• 마르코프 결정 과정을 이분 상태-행동 그래프로 표현하여 RSP 프레임워크를 순차적 결정 문제에 적용할 수 있도록 한다.
• 고정점 이론을 사용하여 반복 알고리즘의 수렴성을 증명하며, 그래프의 부분적 스토하스틱 구조와 강한 연결성으로 인해 야생행렬의 스펙트럴 반경이 1보다 엄격히 작다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 무작위 최단경로 프레임워크는 어떻게 특정 노드의 부분 집합에서 전이 확률에 대한 등호 제약 조건을 통합할 수 있는가?
• RQ2 주어진 전이 확률 제약 조건을 만족하면서 상대 엔트로피 제약 조건 하에서 기대 경로 비용을 최소화하는 최적 정책는 무엇인가?
• RQ3 제안된 반복 알고리즘은 표준 동적 프로그래밍 또는 값 반복 방법과 비교하여 수렴성과 성능 측면에서 어떻게 다른가?
• RQ4 제안된 제약 조건이 있는 RSP 프레임워크와 기존의 제어 방법, 예를 들어 경로 적분 제어 및 KL-제어 간의 이론적 관계는 무엇인가?
• RQ5 상태-행동 그래프에서 제약 조건이 있는 RSP로 모델링함으로써 이 프레임워크는 마르코프 결정 과정에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 제약 조건이 있는 RSP 프레임워크는 온도 매개변수를 통해 결정론적 최단경로와 무작위 보행 사이를 보간함으로써 이용과 탐색의 최적 균형을 이룬다.
• 소프트 벨먼-포드 업데이트 기반의 반복 알고리즘이 야생행렬의 스펙트럴 반경이 1보다 엄격히 작기 때문에 유일한 해로 수렴한다.
• 이 프레임워크는 수학적으로 경로 적분 제어 및 KL-제어 방법과 동등하며, RSP와 현대 강화 학습 제어 프레임워크 간의 공식적 연결 고리를 확립한다.
• 해는 자유 에너지의 이동에 대해 불변이며, 목표 노드에서 φ*n = 0으로 설정함으로써 해결되어 유일성이 보장된다.
• 특정 네트워크 부분에서의 제어된 무작위화를 가능하게 하여 표준 RSP를 일반화함으로써 전이 확률에 대한 등호 제약 조건을 통합한다.
• 시뮬레이션 결과는 모델이 예상대로 행동하며, 순수 이용에서 순수 탐색으로의 행동이 부드럽게 보간됨을 확인한다.