[논문 리뷰] Learning Extreme Hummingbird Maneuvers on Flapping Wing Robots

Fei Fan, Zhan Tu외 2명|arXiv (Cornell University)|2019. 02. 25.

Biomimetic flight and propulsion mechanisms참고 문헌 37인용 수 6

한 줄 요약

이 논문은 12g의 날개 편운동 허브드로봇이 모델 기반 강화 학습 정책을 사용하여 실제 허브드의 것과 유사한 극한의 방어적 회피 동작을 수행할 수 있도록 하는 하이브리드 제어 전략을 제시한다. 이 전략은 차량을 불안정하게 만들고 공격적으로 이동시켜 20번의 날개 편동 동안 180° 요행전과 후진 이동을 달성하며, 생물학적 대비 약 두 배에 가까운 시간을 소비한다. 이는 오직 두 개의 액추에이터만을 사용하여도 성공적인 시뮬레이션에서 실제로의 전이를 이룩한 것이다.

ABSTRACT

Biological studies show that hummingbirds can perform extreme aerobatic maneuvers during fast escape. Given a sudden looming visual stimulus at hover, a hummingbird initiates a fast backward translation coupled with a 180-degree yaw turn, which is followed by instant posture stabilization in just under 10 wingbeats. Consider the wingbeat frequency of 40Hz, this aggressive maneuver is carried out in just 0.2 seconds. Inspired by the hummingbirds' near-maximal performance during such extreme maneuvers, we developed a flight control strategy and experimentally demonstrated that such maneuverability can be achieved by an at-scale 12-gram hummingbird robot equipped with just two actuators. The proposed hybrid control policy combines model-based nonlinear control with model-free reinforcement learning. We use model-based nonlinear control for nominal flight control, as the dynamic model is relatively accurate for these conditions. However, during extreme maneuver, the modeling error becomes unmanageable. A model-free reinforcement learning policy trained in simulation was optimized to 'destabilize' the system and maximize the performance during maneuvering. The hybrid policy manifests a maneuver that is close to that observed in hummingbirds. Direct simulation-to-real transfer is achieved, demonstrating the hummingbird-like fast evasive maneuvers on the at-scale hummingbird robot.

연구 동기 및 목표

• 모든 허브드의 극한 방어 동작을 재현하기 위해 10번 이하의 날개 편동(약 0.2초, 40Hz 기준) 내에 180° 요행전과 후진 이동을 수행하는 것.
• 심각한 과도제어 상태를 가진 2개의 액추에이터만을 갖는 날개 편운동 마이크로 항공기(FWMAV)를 위한 비행 제어 전략 개발.
• 허브드에서 관찰되는 동적 불안정성과 빠른 제어 조절을 모방함으로써 생체 모방 로봇과 자연계 비행체 간의 성능 격차를 좁히는 것.
• 극도의 비행 상태에서의 모델 정확도 저하를 극복하고, 강화 학습 정책을 직접 시뮬레이션에서 실제 비행으로 전이시키는 것.

제안 방법

• 모델 기반 비선형 제어기를 안정적인 수직 항공 및 정상 비행에 사용하고, 극한의 회피 동작에 대해 모델 기반의 강화 학습 정책을 사용하는 하이브리드 제어 전략을 채택한다.
• 강화 학습 정책은 시뮬레이션에서 시스템을 의도적으로 불안정하게 만들고 빠른 방어적 동작에서의 성능을 극대화하도록 훈련한다.
• 두 제어기의 출력을 합산하며, 이는 구조적 제어 네트워크와 유사한 방식이지만, 이 중에서 회피 제어 전략만 학습된다.
• 안정적인 비행을 위해 동적 모델을 사용하지만, 고가속도 동작 중 모델 오차가 관리할 수 없게 질 경우 학습 기반 제어로 전환된다.
• 로봇의 날개 운동은 두 개의 독립적인 액추에이터를 통해 실시간으로 조절되어 모든 세 축에 대해 양력과 토크를 생성한다.
• 제어 전략은 허브드에서 관찰된 세 단계의 도망 패턴을 재현하도록 최적화된다: 초기 후진 이동과 함께 편향 상승, 요 방향 전환, 수직 항공 복귀.

실험 결과

연구 질문

• RQ1 2개의 액추에이터만을 갖는 날개 편운동 로봇이 10번 이하의 날개 편동 내에 180° 요행전과 후진 이동을 수행할 수 있는가?
• RQ2 모델 기반과 모델 기반 외 방법을 조합한 하이브리드 제어 전략이 심각한 과도제어 상태를 가진 시스템에서 안정적인 비행과 공격적인 이동을 어떻게 달성할 수 있는가?
• RQ3 모의 환경에서 훈련된 강화 학습 정책이 정밀 조정 없이 실제 비행에 성공적으로 전이될 수 있는가?
• RQ4 허브드와 로봇 간의 제어 역학에서 주요 차이점은 무엇인가? 특히 요 토크 생성과 추진력 벡터 조절 측면에서.
• RQ5 수행 시간, 궤적, 신체 운동학 측면에서 로봇의 성능을 생물학적 기준과 정량적으로 비교해보면 어떻게 되는가?

주요 결과

• 로봇은 180° 요행전과 후진 이동을 20번의 날개 편동 내에 완료하였으며, 실제 허브드의 10번 날개 편동에 비해 다소 느리지만 매우 민첩한 성능을 보였다.
• 로봇의 방어 동작은 허브드와 동일한 세 단계 패턴을 따르며, 초기 후진 이동과 함께 편향 상승, 요 전환, 수직 항공 복귀 순서로 진행되었다.
• 오직 두 개의 액추에이터만을 갖더라도, 시뮬레이션과 실험 모두에서 허브드의 신체 운동학과 유사한 동작을 달성하였다. 그림 5에서 이를 확인할 수 있다.
• 물리적 트림 조건으로 인해 로봇은 순수 음수의 요 토크를 생성하여 전 과정 동안 지속적인 요 입력이 필요했으며, 이는 허브드가 단 4번의 날개 편동으로 전환을 완료한 것과는 다름을 보였다.
• 시뮬레이션에서 실제 비행으로의 전이가 성공하였으며, 실험 데이터는 시뮬레이션 궤적과 매우 유사하게 일치하여 강화 학습 정책의 강건성을 검증하였다.
• 로봇의 강력한 롤 및 피치 토크 생성 능력 덕분에 요 전환 후 신체를 다시 위를 햖থ하게 재정렬할 수 있었으며, 이는 약한 요 제어 능력을 상쇄하였다.