[論文レビュー] Learning Extreme Hummingbird Maneuvers on Flapping Wing Robots

Fei Fan, Zhan Tu+2 more|arXiv (Cornell University)|Feb 25, 2019

Biomimetic flight and propulsion mechanisms参考文献 37被引用数 6

ひとこと要約

本論文では、12グラムのフラッピングウィングヒルミングバードロボットが、モデルフリーの強化学習ポリシーを用いて、実際のヒルミングバードと同様の極端な回避行動を実行できるハイブリッド制御戦略を提示している。このポリシーにより、システムを不安定化させ、急激に操縦することで、20翼打撃（生物の対応物のほぼ2倍の時間）で180°のヨー転回と後退移動を達成した。これは、わずか2つのアクチュエータでのみ実現されたシミュレーションから実世界への成功した転送を示している。

ABSTRACT

Biological studies show that hummingbirds can perform extreme aerobatic maneuvers during fast escape. Given a sudden looming visual stimulus at hover, a hummingbird initiates a fast backward translation coupled with a 180-degree yaw turn, which is followed by instant posture stabilization in just under 10 wingbeats. Consider the wingbeat frequency of 40Hz, this aggressive maneuver is carried out in just 0.2 seconds. Inspired by the hummingbirds' near-maximal performance during such extreme maneuvers, we developed a flight control strategy and experimentally demonstrated that such maneuverability can be achieved by an at-scale 12-gram hummingbird robot equipped with just two actuators. The proposed hybrid control policy combines model-based nonlinear control with model-free reinforcement learning. We use model-based nonlinear control for nominal flight control, as the dynamic model is relatively accurate for these conditions. However, during extreme maneuver, the modeling error becomes unmanageable. A model-free reinforcement learning policy trained in simulation was optimized to 'destabilize' the system and maximize the performance during maneuvering. The hybrid policy manifests a maneuver that is close to that observed in hummingbirds. Direct simulation-to-real transfer is achieved, demonstrating the hummingbird-like fast evasive maneuvers on the at-scale hummingbird robot.

研究の動機と目的

• マグニフィセントヒルミングバードの極端な回避行動を再現すること。この行動は、40Hzの周波数（0.2秒）で10翼打撃未満にわたる180°ヨー転回と後退移動を含む。
• 2つのアクチュエータでのみ制御可能なフラッピングウィングマイクロエアビークル（FWMAV）に対して、深刻なアンダーアクチュエーション下でも高機敏な操縦を実現する飛行制御戦略を開発すること。
• ヒルミングバードが示す動的不安定性と急速な制御変更を模倣することで、生物的飛行体とバイオインspiredロボットの性能格差を埋めること。
• 極端な飛行状態におけるモデル誤差を克服し、強化学習ポリシーを直接シミュレーションから実世界に転送できるようにすること。

提案手法

• ハイブリッド制御ポリシーは、安定したホバリングおよび通常飛行のためのモデルベース非線形制御と、極端な操縦のためのモデルフリー強化学習ポリシーを組み合わせる。
• 強化学習ポリシーは、シミュレーション内でシステムを意図的に不安定化させ、急速な回避行動におけるパフォーマンスを最大化するように訓練されている。
• 2つのコントローラーの出力を単純に加算する構造であり、構造制御ネットワークに類似している。学習対象は、操縦ポリシーのみである。
• 安定飛行には動的モデルが使用されるが、高加速度飛行状態でモデル誤差が管理不能になると、学習ベースの制御に切り替わる。
• ロボットの翼運動は、2つの独立したアクチュエータによりリアルタイムで制御され、3軸すべての制御トルクと揚力を生成する。
• 制御ポリシーは、ヒルミングバードで観察される3段階の逃避パターン（初期の後退移動に伴うピッチアップ、ヨー回転、ホバーリングへの回復）を再現するように最適化されている。

実験結果

リサーチクエスチョン

• RQ1 2つのアクチュエータでのみ制御可能なフラッピングウィングロボットが、10翼打撃未満に180°ヨー転回と後退移動を伴うヒルミングバードの極端な回避行動を再現できるか？
• RQ2 モデルベースとモデルフリーの両方の手法を組み合わせたハイブリッド制御戦略が、深刻なアンダーアクチュエーションを持つシステムにおいて安定飛行と攻撃的操縦を実現できるか？
• RQ3 シミュレーションで訓練された強化学習ポリシーが、微調整なしに実世界飛行に成功して転送できる程度の信頼性は保証できるか？
• RQ4 ヒルミングバードとロボットとの間で、特にヨートルク生成と推力ベクトル制御において、制御ダイナミクスにどのような主な差異が生じるか？
• RQ5 行動持続時間、軌道、ボディ運動学的特性の観点から、ロボットの性能が生物学的ベンチマークと定量的にどの程度一致するか？

主な発見

• ロボットは180°ヨー転回と後退移動を20翼打撃で完了したが、実際のヒルミングバードは10翼打撃で達成しており、非常に機敏ではあるがわずかに遅い性能を示した。
• ロボットの回避行動は、ヒルミングバードと同様の3段階パターンに従った。初期段階でピッチアップを伴う後退移動、ヨー回転、ホバーリングへの回復。
• 2つのアクチュエータしか持たないにもかかわらず、シミュレーションおよび実験の両方でヒルミングバードのボディ運動学的特性に極めて近い動きを達成した。図5に示す。
• 物理的トリム条件のため、ロボットはネガティブなヨートルクを発生させ、回避行動中を通じて継続的なヨー入力を必要としている。これに対して、ヒルミングバードは4翼打撃で回転を完了している。
• シミュレーションから実世界への転送は成功しており、実験データがシミュレーションの軌道とよく一致しており、強化学習ポリシーの頑健性が裏付けられた。
• ロボットが強いロールおよびピッチトルクを発生させたことで、ヨー転回後に再び上向きを向くようにボディを再配向でき、弱いヨー制御を補った。