[論文レビュー] Metric State Space Reinforcement Learning for a Vision-Capable Mobile Robot

Viktor Zhumatiy, Faustino Gomez+2 more|ArXiv.org|Mar 7, 2006

Reinforcement Learning in Robotics参考文献 21被引用数 3

ひとこと要約

本論文では、視覚搭載移動型ロボットが事前の環境モデリングや状態空間の離散化を必要とせず、現実世界のセンサデータから直接制御方策を学習できるメトリックベースのインスタンス学習アルゴリズムである、Piecewise Continuous Nearest Sequence Memory (PC-NSM) を提案する。連続的なメトリックを状態-行動軌道に適用し、可変半径のk近傍法を用いることで、部分観測性を扱いながらも、区分的連続な知覚空間においてデータ効率の良い学習を実現した。実ロボット上での自律走行とターゲット取得の成功が確認された。

ABSTRACT

We address the problem of autonomously learning controllers for vision-capable mobile robots. We extend McCallum's (1995) Nearest-Sequence Memory algorithm to allow for general metrics over state-action trajectories. We demonstrate the feasibility of our approach by successfully running our algorithm on a real mobile robot. The algorithm is novel and unique in that it (a) explores the environment and learns directly on a mobile robot without using a hand-made computer model as an intermediate step, (b) does not require manual discretization of the sensor input space, (c) works in piecewise continuous perceptual spaces, and (d) copes with partial observability. Together this allows learning from much less experience compared to previous methods.

研究の動機と目的

• 手作業による環境モデルに依存せずに、視覚搭載移動型ロボットが現実世界の強化学習を直接行えるようにすること。
• 物体の境界や遮蔽によって生じる不連続性を伴う、視覚的ロボット環境に一般的に見られる区分的連続な知覚空間に対処すること。
• センサ入力空間の手作業による離散化を回避することでデータ要求を低減し、メトリックベースの近傍法による効率的な一般化を可能にすること。
• 観測系列の連続的メトリックを用いて時間的状態履歴を統合することで、リアルタイムのロボット制御における部分観測性を扱うこと。
• 再訓練なしに障害物やターゲットの再配置といった環境変化に対しても頑健である方法を開発すること。

提案手法

• 離散的状態グリッドではなく、状態-行動軌道における連続的メトリックを用いることで、McCallumのNearest Sequence Memory (NSM) を区分的連続な知覚空間に拡張する。
• 可変半径のk近傍法を用いて、不連続性が生じる状態空間の境界付近で高分解能の一般化を可能にする。
• 履歴観測に割引メトリックを適用することで、エージェントが過去の視覚的状態を記憶し、一時的なターゲット視認喪失から回復できるようにする。
• 収集した経験をすべて保存し、メトリック空間内の最近傍を用いて、修正されたQ学習更新則によりQ値を推定する。
• 知覚空間の前処理や手作業による離散化を一切行わず、生の視覚入力に直接処理を適用する。
• 行動空間を連続的とみなして、メトリック空間内の最近傍に基づいて行動を選択するが、将来的には明示的な行動メトリックの導入を検討する。

実験結果

リサーチクエスチョン

• RQ1 強化学習アルゴリズムは、事前の環境モデリングを一切行わず、現実世界の視覚入力から効果的なナビゲーション方策を学習できるか？
• RQ2 物体の境界や遮蔽によって生じる不連続性を伴う区分的連続な知覚空間において、学習アルゴリズムがどのように効率的に一般化できるか？
• RQ3 メトリックベースの近傍法は、固定グリッドや関数近似手法に比べて、データ効率性と頑健性の面で優れているか？
• RQ4 観測系列の連続的メトリックと時間的記憶を用いることで、視覚ベースのロボット制御における部分観測性をどのように軽減できるか？
• RQ5 再訓練なしに、障害物やターゲットの位置変更に対しても、学習済み方策がどの程度一般化できるか？

主な発見

• PC-NSMアルゴリズムは、事前の環境モデルを一切使用せず、視覚入力のみで実ロボットがナビゲーションとターゲット探索を学習することに成功した。
• 約70分のトレーニング後、安定した性能を示し、時間の経過とともに報酬の獲得が速やかに増加した。第4試行では最小限の意思決定で完了した。
• 環境変化に対して高い頑健性を示した：ターゲットや障害物の再配置によって性能が低下しなかった。方策は座標に依存するのではなく、知覚に基づいていたためである。
• 割引メトリックの使用により、最近の視覚履歴を活用することで、一時的なターゲット視認喪失からの回復が可能になり、ハマリ込むリスクが低減した。
• 手作業による離散化を回避し、不連続性付近での適応的一般化を可能にしたことで、従来手法に比べてデータ効率性が向上した。
• 狭い通路や鏡面反射する壁の隙間といった複雑なシナリオでも、知覚の曖昧さによるわずかな遅延を除き、正常にナビゲートできた。