[論文レビュー] Efficient Touch Based Localization through Submodularity

Shervin Javdani, Matthew Klingensmith+3 more|arXiv (Cornell University)|Aug 30, 2012

Reinforcement Learning in Robotics参考文献 28被引用数 3

ひとこと要約

本稿では、オンライン行動選択をガイドするための適応的サブモジュラリティを用いた、タッチベースのロボット局在化のための新規で効率的な手法を提案する。証明可能に適応的サブモジュラルであるとされるメトリクス—仮説刈り込み（HP）と重み付き仮説刈り込み（WHP）—を設計することで、ラジカル・グリーディアルゴリズムによる計算の高速化を実現し、近似的に最適な性能を達成する。実験では、わずか2つの行動での実現が可能であり、リアルタイムでのロボット局在化が可能である。

ABSTRACT

Many robotic systems deal with uncertainty by performing a sequence of information gathering actions. In this work, we focus on the problem of efficiently constructing such a sequence by drawing an explicit connection to submodularity. Ideally, we would like a method that finds the optimal sequence of actions, taking the minimum amount of time while providing sufficient information. Finding this sequence, however, is generally intractable. As a result, many well-established methods select actions greedily. Surprisingly, this often performs well even with only one step lookahead. Our work first explains this high performance -- we note that a commonly used metric, reduction of Shannon entropy, is submodular under certain assumptions, rendering the greedy solution comparable to the optimal plan in the offline setting. Recently developed notions of adaptive submodularity enable guarantees for a greedy algorithm in the online setting. We develop new methods within this framework, enabling us to provide guarantees compared to the optimal online policy, as well as exploit additional computational speedups. We demonstrate the effectiveness of these methods in simulation and on a robot.

研究の動機と目的

• ロボット操作における不確実性下での情報収集タッチ行動の効率的選択という課題に取り組む。
• サブモジュラ最適化における理論的保証とロボティクス分野における実践的オンライン行動選択のギャップを埋める。
• 標準的な情報量の増加よりも優れた、計算的に効率的で適応的なメトリクスを開発する。
• ドアノブの把持を対象としたシミュレーションおよびロボット実験を通じて、実世界への適用可能性を示す。

提案手法

• 不確実性低減のための新しいメトリクスとして、仮説刈り込み（HP）と重み付き仮説刈り込み（WHP）を提案し、適応的サブモジュラルであるように設計する。
• 適応的サブモジュラリティ理論を用いて、観測依存的なオンライン設定におけるグリーディ行動選択の近似的に最適な性能を保証する。
• 各ステップで全行動の再評価を回避することで計算を高速化するため、ラジカル・グリーディアルゴリズムを採用する。
• 信念をパーティクル集合として表現し、力・トルクフィードバックによる接触センシングを用いて、各行動後の信念を更新する。
• バーレットアームとハンドを搭載した実際のロボットシステムに、タスク空間制御によるガード付き移動を組み込む。
• シミュレーションおよび実世界の実験において、情報量の増加（IG）、ランダム選択、人間が設計した軌道と比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 適応的サブモジュラリティを活用することで、オンラインタッチベース局在化のための証明可能に近似的に最適で効率的な行動選択戦略を設計できるか？
• RQ2 HPおよびWHPは、情報量の増加（IG）と比較して、不確実性低減および計算効率の面でどのように異なるか？
• RQ3 提案手法は、ランダムまたは人間が設計したポリシーと比較して、より少ない行動数で成功した局在化を達成できるか？
• RQ4 ラジカル・グリーディアルゴリズムによる計算の高速化は、物理的ロボットにおけるリアルタイムデプロイメントをどの程度可能にするか？

主な発見

• IG、HP、WHPの3つのメトリクスとも不確実性を顕著に低減したが、HPおよびWHPはIGと同等の性能を達成しながらも、著しく高速であった。
• HPおよびWHPメトリクスは、エントロピー低減を直接最適化していないにもかかわらず、IGと同等に不確実性を効果的に低減した。
• HPおよびWHPを用いた行動選択は、IGよりも約5.6倍速く（平均して8.41秒 vs. 47.17秒/行動）、リアルタイム計画が可能になった。
• 実際のロボットでは、すべての手法がわずか2回の不確実性低減行動でドアノブを正しく局在化し、把持に成功したのに対し、タッチなしのベースラインは完全に失敗した。
• ロボットはHPまたはWHPを用いてわずか2回の行動で成功した把持を達成し、実際の応用における本手法の効率性と頑健性を示した。
• ラジカル・グリーディアルゴリズムにより、行動選択時間は運動計画および実行時間と同等の水準にまで短縮され、リアルタイムでの適応的選択が現実可能となった。