[論文レビュー] Autonomous exploration for navigating in non-stationary CMPs

Pratik Gajane, Ronald Ortner+2 more|arXiv (Cornell University)|Oct 18, 2019

Reinforcement Learning in Robotics参考文献 23被引用数 6

ひとこと要約

本稿では、遷移確率が急激に変化する非定常な制御マルコフ過程（CMPs）における自律的探索のためのメタアルゴリズム、MNMを提案する。仮説構築と変化検出のフェーズを組み合わせることで、エージェントが十分な知識を持たないステップ数（探索ステップ）が、環境の変化回数Fに対して高確率でO(F²)に比例することを保証する。

ABSTRACT

We consider a setting in which the objective is to learn to navigate in a controlled Markov process (CMP) where transition probabilities may abruptly change. For this setting, we propose a performance measure called exploration steps which counts the time steps at which the learner lacks sufficient knowledge to navigate its environment efficiently. We devise a learning meta-algorithm, MNM and prove an upper bound on the exploration steps in terms of the number of changes.

研究の動機と目的

• 遷移確率が急激かつ予測不能に変化する非定常環境における自律的ナビゲーションの課題に取り組む。
• エージェントが効率的にナビゲートするのに十分な知識が不足している時間ステップを定量化する新たな性能指標「探索ステップ」を定義する。
• 定常CMPs用の任意のベースアルゴリズムを統合し、環境の変化に適応するメタアルゴリズムMNMを設計する。
• 非定常性下での探索効率に関する理論的保証を提供し、特に環境の変化回数Fの観点から探索ステップの上限を特定する。
• 変化のタイミングや遷移ダイナミクスが未知である状況でも、仮説構築と検証の二段階戦略により、耐障害性を確保する。

提案手法

• 仮説構築フェーズ（環境に関する仮説を構築するための探索）と検証フェーズ（変化の可能性を検証するための定期的チェック）を交互に繰り返すメタアルゴリズムMNMを用いる。
• UcbExploreをベースアルゴリズムとして採用し、信頼区間内での遷移確率推定を実施することで、徐々に到達可能な状態を高確率で発見する。
• Hoeffdingの不等式を適用して、チェック実行中に状態の到達が見られない場合の誤検出確率（偽陰性）の上限を定め、信頼性の高い変化検出を実現する。
• 状態の部分順序を用いて、徐々に到達可能な状態集合$\mathcal{S}^{\rightarrow}_L$を定義し、構造的かつ到達可能なかたちでの探索を保証する。
• 各ラウンドに構築フェーズと検証フェーズを含むマルチラウンドフレームワークを実装し、集中不等式を用いて誤差確率を制御する。
• 初期状態$s_0$への復帰を保証するRESETアクションを活用することで、各ラウンドにわたり一貫した仮説検証と状態発見が可能になる。

実験結果

リサーチクエスチョン

• RQ1 遷移確率が急激かつ予測不能に変化する非定常CMPにおいて、エージェントはどのように効率的に探索・ナビゲートできるか？
• RQ2 このような動的環境下で、ナビゲーション時の知識不足のコストを最もよく捉える性能指標は何か？
• RQ3 環境変化の回数やタイミングが未知である状況でも、低探索ステップを維持できるメタアルゴリズムは設計可能か？
• RQ4 定常CMPs用に設計されたベースアルゴリズムを、理論的保証を伴って非定常設定に適応できるか？
• RQ5 非定常CMPでF回の環境変化が発生した場合、探索ステップ数の理論的上限は何か？

主な発見

• 提案されたMNMメタアルゴリズムは、環境変化回数Fに対して高確率で、総探索ステップ数が$O(F^2)$に上限づけられることを保証する。
• 構築フェーズの探索ステップ上限は$\sum_{f=1}^{F} \frac{C_1 S_f A L^3}{\epsilon^3} \left(\log \frac{F^2 S_f A L}{\epsilon \delta} \right)^3$、検証フェーズの上限は$F \cdot \max_f \left[ \frac{2C_1 S_f A L^3}{\epsilon^3} \left(\log \frac{F^2 S_f A L}{\epsilon \delta} \right)^6 \right]$となる。
• 急激な変化が発生しても、$L$ステップ以内に到達可能なすべての徐々に発見可能な状態が高確率で発見されることを保証する。
• Hoeffdingの不等式の適用により、状態または変化の検出に失敗する確率が$\delta'$以下に抑えられ、仮説検証の信頼性が確保される。
• 理論的分析から、探索ステップ数が$F$、$L$、および状態数に関して多項式的に保たれることを示しており、妥当な仮定の下でスケーラブルであることが判明した。
• 本フレームワークは汎用的であり、定常CMPs用に設計された任意のベースアルゴリズムに適用可能であり、既存の探索パイプラインへのモジュラー統合を可能にする。