[논문 리뷰] Optimizing Collision Avoidance in Dense Airspace using Deep Reinforcement Learning

Sheng Li, Maxim Egorov외 1명|arXiv (Cornell University)|2019. 12. 20.

Autonomous Vehicle Technology and Safety참고 문헌 30인용 수 34

한 줄 요약

본 논문은 밀집 항공 공간에서의 자율 충돌 회피를 위해 심층 강화 학습을 활용하여 기존 접근법을 보정하고, 안전은 유지하면서 효율성을 향상시키는 방법을 개발·분석한다.

ABSTRACT

New methodologies will be needed to ensure the airspace remains safe and efficient as traffic densities rise to accommodate new unmanned operations. This paper explores how unmanned free-flight traffic may operate in dense airspace. We develop and analyze autonomous collision avoidance systems for aircraft operating in dense airspace where traditional collision avoidance systems fail. We propose a metric for quantifying the decision burden on a collision avoidance system as well as a metric for measuring the impact of the collision avoidance system on airspace. We use deep reinforcement learning to compute corrections for an existing collision avoidance approach to account for dense airspace. The results show that a corrected collision avoidance system can operate more efficiently than traditional methods in dense airspace while maintaining high levels of safety.

연구 동기 및 목표

• 비무인 운용으로 인한 항공 공간 교통 밀도가 증가함에 따라 고급 충돌 회피의 필요성을 제시한다.
• 전통적인 방법이 어려움을 겪는 밀집 항공 공간에서 작동할 수 있는 자율 충돌 회피 시스템을 개발한다.
• 충돌 회피 시스템의 의사결정 부담과 항공 공간에 미치는 영향을 정량화하기 위한 지표를 도입한다.
• 밀집 항공 공간에 대해 기존의 충돌 회피 접근법에 보정 값을 계산하기 위해 심층 강화 학습을 적용한다.
• 보정된 시스템이 높은 안전 표준을 유지하면서 더 높은 효율로 작동할 수 있음을 입증한다.

제안 방법

• 심층 강화 학습을 사용하여 기존 충돌 회피 접근법에 대한 보정을 학습한다.
• 충돌 회피 시스템의 의사결정 부담 및 항공 공간에 대한 영향을 측정하는 지표를 도입한다.
• 밀집 항공 공간 시나리오에서 보정된 시스템을 평가하고 전통적인 충돌 회피 방법과 비교한다.
• 높은 교통 밀도 하에서 효율성 및 안전성 측면에서 성능을 분석한다.

실험 결과

연구 질문

• RQ1 밀집 항공 공간에서 안전성을 해치지 않으면서 충돌 회피의 효율성을 심층 강화 학습으로 개선할 수 있는가?
• RQ2 충돌 회피 시스템의 의사결정 부담과 항공 공간에 미치는 영향을 정량화하기 위한 효과적인 지표는 무엇인가?
• RQ3 밀집 교통 조건에서 RL 보정 충돌 회피 접근법은 전통적인 방법과 어떻게 비교되는가?
• RQ4 깊은 학습을 사용하여 기존의 충돌 회피 전략에 보정을 도출하는 것이 실현 가능한가?

주요 결과

• 심층 강화 학습에 기반한 보정된 충돌 회피 시스템은 밀집 항공 공간에서 전통적인 방법보다 더 높은 효율로 작동할 수 있다.
• RL 기반 보정은 향상된 효율성과 함께 높은 수준의 안전을 유지한다.
• 제안된 지표는 의사결정 부담과 항공 공간에 대한 영향을 효과적으로 포착하여 밀집 항공 공간 충돌 회피 성능 평가를 지원한다.