[論文レビュー] Learning Mobile Robot Based on Adaptive Controlled Markov Chains

Valery Vilisov|arXiv (Cornell University)|Jan 1, 2015

Reinforcement Learning in Robotics参考文献 3被引用数 2

ひとこと要約

本稿では、制御マルコフ連鎖を用いて人間のオペレータの意思決定好みをモデル化・学習するための適応的学習アルゴリズムを提案する。逆問題を解くことで、マルコフ報酬連鎖の遷移確率と報酬関数をオペレータの行動から推定し、100回の30ステップエピソードのシミュレーションを用いて、オペレータの主観的戦略と高い忠実度で一致するポリシーへの迅速な収束を達成した。

ABSTRACT

Herein we suggest a mobile robot-training algorithm that is based on the preference approximation of the decision taker who controls the robot, which in its turn is managed by the Markov chain. Setup of the model parameters is made on the basis of the data referring to the situations and decisions involving the decision taker. The model that adapts to the decision taker's preferences can be set up either a priori, during the process of the robot's normal operation, or during specially planned testing sessions. Basing on the simulation modelling data of the robot's operation process and on the decision taker's robot control we have set up the model parameters thus illustrating both working capacity of all algorithm components and adaptation effectiveness.

研究の動機と目的

• モバイルロボットが人間オペレータの主観的意思決定好みを学習・適応できる手法を開発すること。
• 観察されたオペレータ行動から得られる報酬関数を推定する、制御マルコフ意思決定過程（MDP）としてロボットの行動をモデル化すること。
• 通常の運用中またはテストセッション中に観察された行動データを用いて、ロボットのポリシーをリアルタイムで適応させること。
• 逆MDPアプローチの有効性を検証し、オペレータの好み構造を正確に推定できることを確認すること。

提案手法

• 本手法は、逆マルコフ報酬連鎖（RPMDP）を用い、観察されたオペレータの意思決定から報酬関数および遷移確率を推定する。
• 3段階のアルゴリズムを適用する：(1) 決定シーケンスから純粋戦略を特定し、(2) ベイズ更新を用いて逐次的に遷移確率推定値を改善し、(3) 観察された結果との再帰的相関を用いて報酬値を推定する。
• 完全に観測可能なMDPフレームワークを用い、100回の提示、各30ステップの意思決定ステップを含むシミュレーテッドデータでモデルを学習する。
• 確率および報酬推定値の収束を反復回数ごとに監視・可視化し、急速な安定化が確認された。
• 最終的なポリシーは、推定されたパrameterを用いて直接MDP問題を解くことで得られ、ロボットがオペレータの行動を模倣可能となる。
• 「ホット」アップデートをサポートし、ロボットの運用を中断せずに再適応が可能となる。

実験結果

リサーチクエスチョン

• RQ1 モバイルロボットは、オペレータの行動を観察することで、その意思決定好みを学習・再現できるか？
• RQ2 限られた行動データから、逆MDPアプローチが真の報酬関数および遷移確率をどれほど効果的に推定できるか？
• RQ3 推定されたポリシーの収束速度および正確さは、オペレータの実際の戦略と比較してどの程度か？
• RQ4 モデルは運用を停止せずにリアルタイムで動的に更新可能か？

主な発見

• 遷移確率および報酬関数の推定値が急速に収束し、確率推定値は40～60ステップのうちに安定した。
• 推定された報酬値は、真のモデル値と10～15単位の範囲内で収束した（例：r12(1)は約79に達し、表1のモデル値79と一致）。
• 推定ポリシー下での平均報酬は定常状態で71単位に達し、オペレータの純粋戦略の報酬と非常に近い値を示し、意思決定者の好みへの高い忠実度を示した。
• システムは意思決定シーケンスからオペレータの純粋戦略を正確に同定でき、好みモデルの正確性が裏付けられた。
• 逆MDPアプローチにより、ロボットは人間オペレータ自身の戦略と同等の性能を示すポリシーを生成でき、性能劣化は認められなかった。
• モデルは動的再適応および「ホット」アップデートをサポートしており、好みの変化や非定常環境下でも継続的学習が可能となった。