[論文レビュー] Policy-contingent abstraction for robust robot control

Joëlle Pineau, Geoff Gordon+1 more|arXiv (Cornell University)|Oct 19, 2012

Formal Methods in Verification参考文献 19被引用数 52

ひとこと要約

本論文は、部分的に観測可能なマルコフ決定過程（POMDP）と階層的制御を統合することで、不確実性下でも頑健な高レベル意思決定を可能にするポリシー依存抽象化手法を提案する。この手法は実世界への展開に適しており、介護施設での実証実験に成功した。本手法は、高レベルのロボット制御におけるPOMDPのユニークな応用であり、信念の不確実性下での意思決定を向上させた。

ABSTRACT

This paper presents a scalable control algorithm that enables a deployed mobile robot system to make high-level decisions under full consideration of its probabilistic belief. Our approach is based on insights from the rich literature of hierarchical controllers and hierarchical MDPs. The resulting controller has been successfully deployed in a nursing facility near Pittsburgh, PA. To the best of our knowledge, this work is a unique instance of applying POMDPs to high-level robotic control problems.

研究の動機と目的

• 不確実性下で動作するモバイルロボットシステムが信頼性の高い高レベル意思決定を実現する課題に対処すること。
• 部分的に観測可能な環境における階層的制御アーキテクチャと確率的計画のギャップを埋めること。
• 計算の tractability を保ちながらも、実世界のロボット展開において意思決定の質を損なわずにスケーラブルな手法を開発すること。
• 医療施設のような複雑で動的な環境において、信念に配慮した頑健な制御を可能にすること。

提案手法

• 高レベルの行動をロボットの現在のポリシーと信念状態に基づいて定義するポリシー依存抽象化を採用し、文脈に応じた抽象化を実現する。
• 階層的MDPとPOMDPを統合することで、センサ観測と状態推定の不確実性を考慮しつつ高レベル計画を可能にする。
• 信念状態を用いて行動選択をガイドすることで、知覚の曖昧さや環境ノイズに対して意思決定が頑健になるようにする。
• 現在のポリシーに応じて抽象化を動的に調整することで、状態空間の複雑さを低減しつつ意思決定の質を損なわない。
• 高レベル計画には既存のPOMDPソルバーを活用し、ポリシーに依存する抽象化により低レベル実行の忠実度を維持する。

実験結果

リサーチクエスチョン

• RQ1 階層的制御は、実世界のロボット展開において不確実性に対してどのように頑健に保たれるか？
• RQ2 ポリシー依存抽象化は、モバイルロボットのPOMDPベース計画における計算複雑性をどの程度低減できるか？
• RQ3 POMDPは、介護施設のような複雑で動的な環境における高レベル制御に実際に効果的に適用可能か？
• RQ4 信念に配慮した抽象化は、従来の階層的または信念非依存の手法と比較して、意思決定をどのように改善するか？

主な発見

• 提案手法により、モバイルロボットが信念の不確実性を完全に考慮した上で、実際の介護施設で高レベルのナビゲーションとタスク計画を実行できた。
• センサノイズや部分的観測に対しても頑健な性能を示し、多様な環境条件下でも安定した性能を維持した。
• ポリシー依存抽象化により、完全なPOMDP計画と比較して計算複雑性が顕著に低減され、リアルタイムでの展開が可能になった。
• 信念に配慮しないベースラインの階層的コントローラーと比較して、タスク成功確率に顕著な向上が見られた。