[論文レビュー] A Brain Inspired Learning Algorithm for the Perception of a Quadrotor in Wind

Ajith Anil Meera, Martijn Wisse|arXiv (Cornell University)|Sep 24, 2021

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本稿では、一般化座標を用いて未モデル化された風のダイナミクスや非線形性を色雑音としてモデル化することで、不確実性下でのマルチローターの出力予測を向上させる脳にインspiredされた動的期待最大化（DEM）アルゴリズムを提案する。実飛行実験では、古典的推定器と比較して、最小の平均二乗予測誤差（MSPE）を達成し、ロボットの認識および自由エネルギー最大化によるモデル次数選択におけるDEMの初の実験的妥当性を示した。

ABSTRACT

The quest for a brain-inspired learning algorithm for robots has culminated in the free energy principle from neuroscience that models the brain's perception and action as an optimization over its free energy objectives. Based on this idea, we propose an estimation algorithm for accurate output prediction of a quadrotor flying under unmodelled wind conditions. The key idea behind this work is the handling of unmodelled wind dynamics and the model's non-linearity errors as coloured noise in the system, and leveraging it for accurate output predictions. This paper provides the first experimental validation for the usefulness of generalized coordinates for robot perception using Dynamic Expectation Maximization (DEM). Through real flight experiments, we show that the estimator outperforms classical estimators with the least error in output predictions. Based on the experimental results, we extend the DEM algorithm for model order selection for complete black box identification. With this paper, we provide the first experimental validation of DEM applied to robot learning.

研究の動機と目的

• 未モデル化された風のようなダイナミクスの下でもロバストなロボット認識を実現するため、脳にインspiredされた学習原理を活用すること。
• 一般化座標の使用が、未モデル化されたシステムダイナミクス下での推定精度を向上させることを検証すること。
• 完全なブラックボックス系同定、ならびに自動的なモデル次数選択を含めたDEMの拡張。
• 実世界のロボットアプリケーションにおいて、DEMが古典的推定器を上回ることを実証的根拠で示すこと。

提案手法

• アルゴリズムは、未モデル化された風や非線形性を、自由エネルギー最適化フレームワーク内での感覚的驚異（sensory surprisal）として扱う色雑音としてモデル化する。
• 一般化座標を用いて、隠れ状態、入力、パラメータ、ノイズハイパーパrameterを同時に推定する動的期待最大化（DEM）を採用する。
• 予測誤差とモデルの複雑さのバランスを取る自由エネルギー目的関数を用い、不確実性の解消を可能にする。
• モデル次数選択は、平均自由エネルギー（$\bar{F}$）を最大化することで達成され、真のシステム次数に達する際に飽和する。
• EMに類似した枠組みで、D_STEP（状態および入力推定）とM_STEP（パラメータおよびノイズハイパーパrameter更新）を繰り返し更新する。
• ブラックボックス同定のための拡張アルゴリズムを提案し、モデル次数を段階的に初期化し、$\bar{F}$の最大化に基づいて最適な次数を選択する。

実験結果

リサーチクエスチョン

• RQ1 一般化座標を用いたDEMベースの認識は、未モデル化された風条件下でのマルチローターの出力予測精度を、古典的推定器と比較して向上させることができるか？
• RQ2 一般化座標（例えば、状態の微分）の使用は、不確実性下でのシステムダイナミクス推定に有益であるか？
• RQ3 自由エネルギー目的関数（$\bar{F}$）は、ブラックボックス系同定におけるモデル次数選択の信頼できる指標として機能するか？
• RQ4 実世界の風の擾乱下で、Subspace（SS）、PEM、EMといった古典的システム同定手法と比較して、DEMは予測精度において優れているか？

主な発見

• 150ステップ先の出力予測において、5回の飛行実験すべてでDEMが最小の平均二乗予測誤差（MSPE）を達成し、SS、PEM、EMを上回った。
• 一般化座標の使用によりMSPEが低減され、未モデル化ダイナミクス下での推定精度向上に寄与するという、微分情報の捉え込みの価値が示された。
• 平均自由エネルギー（$\bar{F}$）は、モデル次数が真のシステム次数と一致した際に飽和し、$\bar{F}$がモデル次数選択の信頼できる指標であることが検証された。
• 拡張DEMアルゴリズムはブラックボックス状況下でも正しくモデル次数を同定でき、完全なシステム同定における有効性が確認された。
• 実験結果により、ロボット認識におけるDEMの初の実世界的妥当性が示され、実用的妥当性と優位性が裏付けられた。