[논문 리뷰] Terminal Adaptive Guidance for Autonomous Hypersonic Strike Weapons via Reinforcement Learning

Brian Gaudet, Roberto Furfaro|arXiv (Cornell University)|2021. 10. 01.

Guidance and Control Systems참고 문헌 25인용 수 4

한 줄 요약

이 논문은 레이더에서 유도된 관측치를 직접 제어면 속도(기울기, 공기역학적 공격각, 측면 슬립)로 매핑하는 강화학습 기반의 자율 고음속 공격 무기용 종말 단계 유도 시스템을 제안한다. 비정상적인 조건—예를 들어 기체역학적 불확실성, 작동기기 고장, 센서 오류—에도 불구하고 경로, 난방, 하중 제약 조건을 유지하면서도 정밀한 공격을 구현하며, 이동하는 목표물에 대한 정밀 공격과 생존성을 높이기 위한 보조 목표물로의 효과적인 방향 전환을 달성한다.

ABSTRACT

An adaptive guidance system suitable for the terminal phase trajectory of a hypersonic strike weapon is optimized using reinforcement meta learning. The guidance system maps observations directly to commanded bank angle, angle of attack, and sideslip angle rates. Importantly, the observations are directly measurable from radar seeker outputs with minimal processing. The optimization framework implements a shaping reward that minimizes the line of sight rotation rate, with a terminal reward given if the agent satisfies path constraints and meets terminal accuracy and speed criteria. We show that the guidance system can adapt to off-nominal flight conditions including perturbation of aerodynamic coefficient parameters, actuator failure scenarios, sensor scale factor errors, and actuator lag, while satisfying heating rate, dynamic pressure, and load path constraints, as well as a minimum impact speed constraint. We demonstrate precision strike capability against a maneuvering ground target and the ability to divert to a new target, the latter being important to maximize strike effectiveness for a group of hypersonic strike weapons. Moreover, we demonstrate a threat evasion strategy against interceptors with limited midcourse correction capability, where the hypersonic strike weapon implements multiple diverts to alternate targets, with the last divert to the actual target. Finally, we include preliminary results for an integrated guidance and control system in a six degrees-of-freedom environment.

연구 동기 및 목표

• 불확실하거나 열악한 비행 조건에서 작동할 수 있는 적응형 유도 시스템을 개발한다.
• 최소한의 처리로 직접 측정 가능한 레이더 탐지기 출력만을 사용하여 자율적인 종말 단계 유도를 가능하게 한다.
• 난방률, 동압, 하중 계수, 최소 영향 속도와 같은 엄격한 비행 제약 조건을 준수한다.
• 이동하는 지상 목표물에 대한 정밀한 공격을 달성하고, 다중 목표물 전환 전략을 지원하여 임무 효율성을 높인다.
• 6자유도 시뮬레이션 환경에서 유도 시스템과 제어 시스템을 통합하여 종단 간 성능을 검증한다.

제안 방법

• 실시간 레이더 관측치(예: 시야각 속도, 거리, 방위각)를 직접 제어면 속도로 매핑하는 정책 네트워크를 강화학습 메타학습을 통해 훈련한다.
• 종말 단계 동안 높은 시야각 회전 속도를 방지하고 종말 정확도 및 속도 기준을 보상하는 형태의 보상 함수를 설계한다.
• 경로 제약 조건과 영향 조건(예: 속도, 위치)이 충족되었을 때에만 종말 보상을 적용한다.
• 기체역학 계수 변동, 작동기기 고장, 센서 스케일 요소 오류, 작동기기 지연 등 다양한 교란 상황에서 에이전트를 훈련한다.
• 6자유도(6-DOF) 시뮬레이션 환경을 사용하여 통합된 유도 및 제어 성능을 평가한다.
• 최종 목표물이 지연 공개되는 다중 전환 전략을 포함한 위협 회피 전략을 구현하여, 중간 단계 수정 능력이 제한된 추적 미사일을 효과적으로 속이는 데 목적이 있다.

실험 결과

연구 질문

• RQ1 강화학습 기반 유도 시스템은 기체역학적 및 제어 시스템의 심각한 불확실성 하에서도 종말 정밀도를 유지할 수 있는가?
• RQ2 재훈련 없이도 실시간 센서 오류와 작동기기 열화에 대해 유도 정책이 얼마나 잘 적응하는가?
• RQ3 중간 기동 도중 새로운 목표물로 효과적으로 전환할 수 있으며, 종말 정밀도와 제약 준수를 유지할 수 있는가?
• RQ4 지연된 최종 목표물 공개와 함께 다중 전환 전략을 사용할 경우, 무기의 추적 회피 능력은 어느 정도 향상되는가?
• RQ5 완전한 6-DOF 동역학 환경에서 유도 및 제어의 통합 성능은 어떻게 나타나는가?

주요 결과

• 강화학습 기반 유도 시스템은 기체역학 계수 ±20% 변동 및 완전한 작동기기 고장과 같은 비정상 조건에 대해 성공적으로 적응한다.
• 난방률, 동압, 하중 계수, 최소 영향 속도와 같은 모든 핵심 비행 제약 조건을 준수한다.
• 모의 실험에서 이동하는 지상 목표물에 대해 높은 종말 정밀도를 달성했으며, 영향 오차가 항상 5미터 이내로 유지된다.
• 시스템은 효과적인 목표물 전환 능력을 보이며, 종말 성능과 제약 준수를 유지한 채로 새로운 목표물로 전환할 수 있다.
• 다중 전환 전략을 활용한 위협 회피 전략은 중간 단계 수정 능력이 제한된 추적 미사일을 효과적으로 속여 생존 확률을 높인다.
• 초기 6-DOF 시뮬레이션 결과는 안정적이고 정밀한 통합 유도 및 제어 성능을 확인하여 종단 간 접근 방식의 실현 가능성을 입증한다.