[논문 리뷰] Deep-Reinforcement-Learning for Gliding and Perching Bodies

Guido Novati, L. Mahadevan외 1명|arXiv (Cornell University)|2018. 07. 07.

Reinforcement Learning in Robotics참고 문헌 31인용 수 3

한 줄 요약

이 논문은 유체역학에 대한 사전 지식 없이 수동적이고 둔탁한 형태의 몸체(타원형 글라이더)가 자율적으로 최적의 글라이딩 및 착륙 전략을 학습할 수 있도록 하는 딥 강화학습(DRL) 프레임워크를 제안한다. 에너지 소모나 목표까지의 시간을 최소화하도록 에이전트를 훈련시킴으로써, DRL은 전통적인 최적 제어 방법보다 뛰어난 안정성과 일반화 능력을 갖춘 매끄럽고 강건한 제어 정책을 발견한다.

ABSTRACT

Controlled gliding is one of the most energetically efficient modes of transportation for natural and human powered fliers. Here we demonstrate that gliding and landing strategies with different optimality criteria can be identified through deep reinforcement learning without explicit knowledge of the underlying physics. We combine a two dimensional model of a controlled elliptical body with deep reinforcement learning (D-RL) to achieve gliding with either minimum energy expenditure, or fastest time of arrival, at a predetermined location. In both cases the gliding trajectories are smooth, although energy/time optimal strategies are distinguished by small/high frequency actuations. We examine the effects of the ellipse's shape and weight on the optimal policies for controlled gliding. Surprisingly, we find that the model-free reinforcement learning leads to more robust gliding than model-based optimal control strategies with a modest additional computational cost. We also demonstrate that the gliders with D-RL can generalize their strategies to reach the target location from previously unseen starting positions. The model-free character and robustness of D-RL suggests a promising framework for developing mechanical devices capable of exploiting complex flow environments.

연구 동기 및 목표

• 물리 모델링을 명시적으로 제공하지 않고도 수동적이고 둔탁한 형태의 몸체에 대해 자율적인 글라이딩 및 착륙 전략을 개발하기 위해 강화학습을 활용한다.
• DRL이 에너지 소비나 목표까지의 시간을 최소화하는 최적의 글라이딩 경로를 발견할 수 있는지 조사한다.
• 다양한 초기 조건과 몸체 파라미터에서 DRL 정책의 강건성과 일반화 능력을 평가한다.
• 성능 및 안정성 측면에서 DRL 정책을 고전적 최적 제어 전략과 비교한다.
• 몸체의 형상(비율)과 밀도가 나타나는 글라이딩 비행 패턴(예: 와류 비행 또는 뒤집어지기 비행)에 미치는 영향을 조사한다.

제안 방법

• 정적인 유체에서 중력에 의해 하강하는 2차원 평면 모델을 사용하여, 변형 가능한 반축과 밀도를 갖는 타원형 몸체를 시뮬레이션한다.
• 유체력은 이전 시뮬레이션과 실험에서 유도된 매개변수화된 힘 법칙을 사용하여 모델링하며, 전체 CFD 해석을 피한다.
• Racer, 정규화된 이점 함수(NAF), 근접 정책 최적화(PPO) 등의 알고리즘을 사용하여 딥 강화학습(DRL)을 적용한다.
• 보상 설계는 시간과 에너지 비용에 더해 운동학적 제약 조건을 통합하여, 에이전트가 목표 위치에 정밀하게 착륙하도록 유도한다.
• 정책 네트워크는 정책 기반 강화학습 방법을 통해 훈련되며, 훈련 중에는 확률적 동작을 통해 탐색이 이루어진다.
• 일반화 능력을 평가하기 위해, 훈련 중에 볼 수 없었던 시작 위치와 외란 조건에서 훈련된 정책을 평가한다.

실험 결과

연구 질문

• RQ1 DRL은 유체역학에 대한 사전 지식 없이 수동적이고 둔탁한 형태의 몸체에 대해 최적의 글라이딩 및 착륙 전략을 학습할 수 있는가?
• RQ2 에너지 최소화 정책과 시간 최소화 정책는 각각 작동 주파수와 경로의 매끄러움에서 어떻게 다를까?
• RQ3 몸체의 비율과 밀도는 와류 비행 또는 뒤집어지기 비행과 같은 구분되는 비행 패턴의 발생에 어떻게 영향을 미치는가?
• RQ4 DRL 정책은 훈련 중에 볼 수 없었던 새로운 시작 위치로 일반화될 수 있는가?
• RQ5 강건성과 정밀성 측면에서 DRL 성능은 고전적 최적 제어 방법에 비해 어떻게 비교되는가?

주요 결과

• DRL 에이전트는 에너지나 목표까지의 시간을 최소화하는 데 성공적으로 매끄러운 글라이딩 경로를 학습했으며, 각각 저주파수 작동(에너지 최적화), 고주파수 작동(시간 최적화)의 특징을 보였다.
• Racer 알고리즘이 가장 정밀한 착륙 분포를 달성했으며, 1000개의 경로에서 착륙 위치의 평균 제곱오차가 1에 가까웠다. 이는 NAF와 PPO를 모두 뛰어넘었다.
• DRL 정책는 모델 기반 최적 제어에 비해 훨씬 뛰어난 강건성을 보였으며, 특히 외란과 노이즈가 있는 환경에서 두각을 나타냈다.
• 최적의 정책은 몸체 파라미터에 따라 두 가지의 비행 모드로 나뉘었다: '와류 비행'(글라이딩과 빠른 회전을 번갈아 하는 방식)과 '뒤집어지기 비행'(최소 토크로 지속적인 회전을 하는 방식).
• 훈련 중에 볼 수 없었던 시작 위치로의 일반화가 달성되었으며, 이는 DRL 정책가 경로를 기억하는 것이 아니라 이식 가능한 제어 전략을 학습했음을 시사한다.
• 간단한 유체 모델을 사용했음에도 불구하고, DRL 정책는 더 복잡한 시뮬레이션과 로봇 적용으로도 효과적으로 일반화되었으며, 저해상도에서 고해상도 시스템으로의 이식 가능성은 높다고 판단된다.