[논문 리뷰] Flappy Hummingbird: An Open Source Dynamic Simulation of Flapping Wing Robots and Animals

Fei Fan, Zhan Tu외 3명|arXiv (Cornell University)|2019. 02. 25.

Biomimetic flight and propulsion mechanisms참고 문헌 24인용 수 4

한 줄 요약

이 논문은 DART와 블레이드 요소 항공역학을 사용한 물리 기반 모델을 활용해 플랩윙 마이크로 항공기(FWMAVs) 및 생물학적 비행체를 위한 오픈소스 고정밀 동적 시뮬레이션을 제시한다. 이는 선형 및 딥 강화학습 컨트롤러의 정확한 시뮬레이션에서 실제 구현으로의 전이를 가능하게 하며, 정적 및 고속 회피 비행 임무에서 실험적 비행 성능과 일치함을 검증한다.

ABSTRACT

Insects and hummingbirds exhibit extraordinary flight capabilities and can simultaneously master seemingly conflicting goals: stable hovering and aggressive maneuvering, unmatched by small scale man-made vehicles. Flapping Wing Micro Air Vehicles (FWMAVs) hold great promise for closing this performance gap. However, design and control of such systems remain challenging due to various constraints. Here, we present an open source high fidelity dynamic simulation for FWMAVs to serve as a testbed for the design, optimization and flight control of FWMAVs. For simulation validation, we recreated the hummingbird-scale robot developed in our lab in the simulation. System identification was performed to obtain the model parameters. The force generation, open-loop and closed-loop dynamic response between simulated and experimental flights were compared and validated. The unsteady aerodynamics and the highly nonlinear flight dynamics present challenging control problems for conventional and learning control algorithms such as Reinforcement Learning. The interface of the simulation is fully compatible with OpenAI Gym environment. As a benchmark study, we present a linear controller for hovering stabilization and a Deep Reinforcement Learning control policy for goal-directed maneuvering. Finally, we demonstrate direct simulation-to-real transfer of both control policies onto the physical robot, further demonstrating the fidelity of the simulation.

연구 동기 및 목표

• 플랩윙 마이크로 항공기(FWMAVs) 및 생물학적 비행체를 위한 접근성 있고 고정밀 시뮬레이션 도구의 부족을 해결하기 위해.
• 비용이 많이 드는 물리적 프로토타이핑 없이도 FWMAV의 설계 최적화 및 제어 알고리즘 개발을 빠르게 수행할 수 있도록 하기 위해.
• 실제 허밍버드 크기의 로봇에서 제어 정책의 시뮬레이션에서 실제 구현으로의 직접 전이를 통해 시뮬레이션 정밀도를 검증하기 위해.
• 제어 이론, 강화학습, 생물학적 비행 연구를 위한 벤치마크 환경을 제공하기 위해.
• 로봇 운영 체계(ROS) 및 가제보(Gazebo)와의 통합을 지원하여 인식, 위치 추정, 제어 분야의 고급 로봇 기술 연구를 지원하기 위해.

제안 방법

• 다체 역학 및 접촉 모델링을 위해 DART 물리 엔진을 사용한 C++ 기반 시뮬레이션을 개발하고, 파이썬 바인딩을 구현함.
• 실제 로봇에서의 힘/토크 측정을 통해 校정된 고유의 정적 근사 블레이드 요소 이론 항공역학 모델을 구현함.
• 정확한 물리적 파라미터(질량, 관성 모멘트, 스프링 강성 등)를 추출하기 위해 실제 FWMAV에서 시스템 식별을 수행함.
• 강화학습 및 제어 이론 연구와의 원활한 통합을 위해 OpenAI Gym 호환성을 제공함.
• 위치 추적을 위한 선형 다중 PID 제어기와 목표 향한 회피 동작을 위한 딥 디터미니스틱 정책(DDPG) 정책을 설계함.
• DRL 학습 중에 동역학 랜덤라이제이션을 적용하여 정밀도를 향상시키고 시뮬레이션에서 실제 구현으로의 전이 가능성을 확보함.

실험 결과

연구 질문

• RQ1 고정밀 시뮬레이션은 실제 플랩윙 마이크로 항공기의 동적 거동을 정확히 재현할 수 있는가?
• RQ2 시뮬레이션에서 학습된 제어 정책이 재조정 없이 실제 FWMAV 하드웨어로 성공적으로 전이될 수 있는가?
• RQ3 시뮬레이션은 민첩한 동작에 필수적인 비정상적인 항공역학 및 비선형 비행 역학을 얼마나 잘 캡처하는가?
• RQ4 시뮬레이션은 플랩윙 비행에서 강화학습 정책의 훈련 및 평가를 위한 신뢰할 수 있는 기준 환경으로 기능할 수 있는가?
• RQ5 모터 및 접촉 동역학에서 온 터치 피드백의 통합이 시뮬레이션에서 제어 및 계획 수립에 어떻게 기여하는가?

주요 결과

• 시뮬레이션은 개방 루프 상태 전이 역학에서 고정밀도를 달성했으며, 상태 전이 오차가 실험 데이터와 허용 가능한 범위 내에서 일치함.
• 조정된 PID 제어기를 사용한 폐쇄 루프 제어에서 시뮬레이션과 실험 간 성능이 거의 동일했으며, 모든 축에서 루트 평균 제곱 추적 오차가 10% 이내로 차이가 남.
• DDPG 기반 강화학습 정책은 [0,0,0]에서 [-0.21,0,0]으로 180° 요 비행을 포함한 고속 다축 동작을 성공적으로 학습함으로써 허밍버드의 회피 행동을 모방함.
• PID 및 DRL 컨트롤러 모두 도메인 랜덤라이제이션 또는 재조정 없이 시뮬레이션에서 실제 하드웨어로의 전이에 성공하여 시뮬레이션 정밀도를 확인함.
• 비선형 역학, 특히 롤 토크 오프셋과 추력의 비대칭성 등은 시뮬레이션과 실제 비행 모두에서 관측되었으며, 정확하게 캡처됨.
• ROS 및 Gazebo와의 통합을 통해 시뮬레이션은 인식, 위치 추정, 터치 피드백 모델링을 포함한 고급 로봇 기술 연구를 지원함.