[論文レビュー] Safety-Aware Robot Damage Recovery Using Constrained Bayesian Optimization and Simulated Priors

Vaios Papaspyros, Konstantinos Chatzilygeroudis+2 more|arXiv (Cornell University)|Nov 28, 2016

Gaussian Processes and Bayesian Inference参考文献 13被引用数 6

ひとこと要約

本稿では、ロボットの損傷回復のための知能的試行錯誤（IT&E）アルゴリズムに安全制約を組み込んだ拡張手法を提案する。制約付きベイズ最適化とシミュレーションによる事前分布を用いることで、危険な試行を最小限に抑える。安全制約を獲得関数に統合し、事前にシミュレーションで得た動作性能マップを活用することで、より高速かつ安全な適応が可能となり、損傷を負ったiCubヒューマノイドロボットで実証された。危険な試行は14回未満にまで削減され、標準的なIT&Eおよび多目的IT&Eを凌駕する安全なパフォーマンスを達成した。

ABSTRACT

The recently introduced Intelligent Trial-and-Error (IT&E) algorithm showed that robots can adapt to damage in a matter of a few trials. The success of this algorithm relies on two components: prior knowledge acquired through simulation with an intact robot, and Bayesian optimization (BO) that operates on-line, on the damaged robot. While IT&E leads to fast damage recovery, it does not incorporate any safety constraints that prevent the robot from attempting harmful behaviors. In this work, we address this limitation by replacing the BO component with a constrained BO procedure. We evaluate our approach on a simulated damaged humanoid robot that needs to crawl as fast as possible, while performing as few unsafe trials as possible. We compare our new "safety-aware IT&E" algorithm to IT&E and a multi-objective version of IT&E in which the safety constraints are dealt as separate objectives. Our results show that our algorithm outperforms the other approaches, both in crawling speed within the safe regions and number of unsafe trials.

研究の動機と目的

• 既存のロボット損傷回復アルゴリズム（例：IT&E）に安全制約が欠如していることによる、試行錯誤学習中に有害な行動が生じるリスクを是正すること。
• ベイズ最適化プロセスに安全制約を組み込むことで、データ効率的かつ安全な損傷ロボットの適応を可能にすること。
• 健全なロボットのシミュレーションを用いて、制御の安全性に関する事前分布を自動的に生成し、初期の安全パrameterセットへの依存を低減すること。
• さまざまな故障モード下で、損傷を負ったヒューマノイドロボットがクロールタスクを実行するシミュレーション環境で、本手法を評価すること。
• 安全制約付きの本手法を、標準的なIT&Eおよび多目的IT&Eと比較し、安全性、パフォーマンス、サンプル効率の観点から評価すること。

提案手法

• 健全なロボットのシミュレーションにおいて、接触力も安全指標として含む動作記述子を用いて、多様で低次元の動作性能マップをMAP-Elitesにより生成する。
• 損傷ロボットに対して次の動作をテスト選択するために、制約付きベイズ最適化（CBO）を適用し、期待改善を最大化するとともに、接触力に関する安全制約を尊重する。
• 獲得関数は動作マップ上で計算され、クロール速度と接触力の実世界測定値を用いてガウス過程モデルを更新する。
• 安全事前分布はシミュレーションデータから得られ、展開前に不適切な動作の確率を推定することで、初期の安全パrameterセットへの依存を低減する。
• 目的関数（クロール速度）と各安全制約（例：接触力の合計）ごとに別個のガウス過程モデルを維持することで、安全な探索を可能にする。
• 制約付き最適化は、安全閾値を超える期待改善が最大となる動作を選択することで解かれる。これにより、安全でない候補は評価されない。

実験結果

リサーチクエスチョン

• RQ1 制約付きベイズ最適化は、データ効率を損なわせることなく、ロボット損傷回復における安全性を向上させることができるか？
• RQ2 シミュレーションによる安全事前分布の統合は、高価なロボットプラットフォームにおける損傷回復の耐障害性と信頼性をどのように向上させるか？
• RQ3 提案手法である安全制約付きのIT&Eは、標準的なIT&Eおよび多目的IT&Eと比較して、どの程度危険な試行を削減できるか？
• RQ4 さまざまな損傷状態下で、最良の安全な歩行パターンのパフォーマンスはどのように変化するか？
• RQ5 リアルタイムで動作するポリシー適応フレームワークにおいて、安全制約を効果的にモデル化・最適化できるか？

主な発見

• sIT&Eアルゴリズムは、1回の実行あたり14回未満の危険な試行で、標準的なIT&E（29回）およびMO-IT&E（22回以上）を上回る性能を示した。
• すべての損傷状態において、sIT&EはIT&EおよびMO-IT&Eを上回る最良の安全なクロール速度を達成し、有意に高い性能（p < 0.001）を示した（1つの状況を除く）。
• すべての損傷状態において、sIT&Eは機械的損傷のリスクが最小限に抑えられる高パフォーマンスの安全な歩行パターンを一貫して発見した。
• sIT&Eは、IT&Eと比較して危険な試行を50％以上、MO-IT&Eと比較して35％以上削減し、優れた安全性効率を示した。
• シミュレーションによる事前分布の使用により、初期の安全セットが不要な状態でも、効果的な安全制約付き探索が可能となり、未知の損傷状態にも適用可能であることが示された。
• 4つの独立して生成された動作マップおよび各条件ごとに20回の実行において、結果は一貫しており、手法の頑健性と信頼性が確認された。