[論文レビュー] A Constrained Randomized Shortest-Paths Framework for Optimal Exploration

Bertrand Lebichot, Guillaume Guex+2 more|arXiv (Cornell University)|Jul 12, 2018

Traffic control and management参考文献 55被引用数 5

ひとこと要約

本稿では、遷移確率に対する等式制約とエントロピー正則化を組み合わせることで、マルコフ決定過程における探索と活用の最適なバランスを実現する制約付きランダム化最短経路（RSP）フレームワークを提案する。新たな反復的アルゴリズムを提案し、ソフトベルマン＝フォード更新とラグランジュ双対性に基づくもので、収束性を証明し、特定の条件下で経路積分法やKL制御法と同等であることを示している。

ABSTRACT

The present work extends the randomized shortest-paths framework (RSP), interpolating between shortest-path and random-walk routing in a network, in three directions. First, it shows how to deal with equality constraints on a subset of transition probabilities and develops a generic algorithm for solving this constrained RSP problem using Lagrangian duality. Second, it derives a surprisingly simple iterative procedure to compute the optimal, randomized, routing policy generalizing the previously developed "soft" Bellman-Ford algorithm. The resulting algorithm allows balancing exploitation and exploration in an optimal way by interpolating between a pure random behavior and the deterministic, optimal, policy (least-cost paths) while satisfying the constraints. Finally, the two algorithms are applied to Markov decision problems by considering the process as a constrained RSP on a bipartite state-action graph. In this context, the derived "soft" value iteration algorithm appears to be closely related to dynamic policy programming as well as Kullback-Leibler and path integral control, and similar to a recently introduced reinforcement learning exploration strategy. This shows that this strategy is optimal in the RSP sense - it minimizes expected path cost subject to relative entropy constraint. Simulation results on illustrative examples show that the model behaves as expected.

研究の動機と目的

• 特定のノードのサブセットからの遷移確率に対する等式制約を扱えるように、ランダム化最短経路（RSP）フレームワークを拡張すること。
• ラグランジュ双対性と経路ベース最適化を用いて、制約付きRSP問題を解く汎用的アルゴリズムを開発すること。
• 最適なランダム化方策を計算するための、ソフトベルマン＝フォードに類似した効率的反復手続きを導出すること。
• 逐次的意思決定に適用可能となるように、二部グラフとしての状態・行動グラフ表現を用いて、マルコフ決定問題にフレームワークを適用すること。
• 提案手法と既存の制御および強化学習の枠組み（例：経路積分制御、動的方策プログラミング）との理論的関係を確立すること。

提案手法

• 相対エントロピー（KL発散度）制約の下で期待経路コストを最小化する制約付きRSP問題を定式化し、特定のノードからの遷移確率に等式制約を課す。
• ラグランジュ双対性を用いて、最適方策の効率的計算を可能にする双対最適化問題を導出する。
• 基準遷移確率とエッジコストに基づく更新を用いた、ソフトベルマン＝フォードに類似した反復的アルゴリズムを導入し、最適自由エネルギー値を計算する。
• 温度パラメータθを用いて、決定的最短経路（θ → ∞）と一様ランダムウォーク（θ → 0）の間を滑らかに補間する。
• マルコフ決定過程を二部グラフとしての状態・行動グラフに表現し、順序付き意思決定へのRSPフレームワークの適用を可能にする。
• 固定点理論を用いて反復アルゴリズムの収束性を証明し、グラフの部分ストキャスティック構造と強い連結性により、ヤコビ行列のスペクトル半径が1未満であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ランダム化最短経路フレームワークは、特定のノードのサブセットからの遷移確率に等式制約を組み込むことで、どのように拡張可能か？
• RQ2 与えられた遷移確率制約を満たす条件下で、相対エントロピー制約の下で期待経路コストを最小化する最適方策は何か？
• RQ3 提案された反復的アルゴリズムは、標準的な動的計画法や価値反復法と比較して、収束性および性能においてどのように異なるか？
• RQ4 提案された制約付きRSPフレームワークと、経路積分制御やKL制御といった既存の制御手法との理論的関係は何か？
• RQ5 状態・行動グラフ上の制約付きRSPとしてモデル化することで、マルコフ決定問題にこのフレームワークを効果的に適用可能か？

主な発見

• 提案された制約付きRSPフレームワークは、温度パラメータを用いて、決定的最短経路とランダムウォークの間を滑らかに補間することで、活用と探索の最適なバランスを実現できる。
• ソフトベルマン＝フォード更新に基づく反復的アルゴリズムは、ヤコビ行列のスペクトル半径が1未満であるため、一意の解に収束する。
• このフレームワークは、数学的に経路積分制御およびKL制御法と同等であり、RSPと現代の強化学習制御パラダイムとの間の正式な接続を確立している。
• 解は自由エネルギーの平行移動に対して不変であり、これはゴールノードでφ*n = 0と設定することで解消され、一意性が保証される。
• 特定のネットワーク部における制御されたランダム化を可能にするために、遷移確率に等式制約を組み込んだことで、標準RSPを一般化している。
• シミュレーション結果は、モデルが期待通りに動作することを確認しており、純粋な活用から純粋な探索へと滑らかに挙動が変化している。