[논문 리뷰] A 3D Game Theoretical Framework for the Evaluation of Unmanned Aircraft Systems Airspace Integration Concepts

Negin Musavi, Ayman Manzoor외 1명|arXiv (Cornell University)|2018. 02. 20.

Aerospace and Aviation Technology참고 문헌 40인용 수 3

한 줄 요약

이 논문은 동적 레벨-k 추론과 신경 적합 Q-학습을 활용해 UAS의 공중역할체통합(NAS)에 대한 동적 인간 조종사 의사결정을 모델링하는 3D 게임이론적 시뮬레이션 프레임워크를 제안한다. 공동 충돌 해소 책임이 있는 경우가 가장 안전하고 효율적인 성능을 보이며, 단일 플랫폼만 책임지는 경우보다 우수한 결과를 보인다.

ABSTRACT

Predicting the outcomes of integrating Unmanned Aerial Systems (UAS) into the National Airspace System (NAS) is a complex problem which is required to be addressed by simulation studies before allowing the routine access of UAS into the NAS. This paper focuses on providing a 3-dimensional (3D) simulation framework using a game theoretical methodology to evaluate integration concepts using scenarios where manned and unmanned air vehicles co-exist. In the proposed method, human pilot interactive decision making process is incorporated into airspace models which can fill the gap in the literature where the pilot behavior is generally assumed to be known a priori. The proposed human pilot behavior is modeled using dynamic level-k reasoning concept and approximate reinforcement learning. The level-k reasoning concept is a notion in game theory and is based on the assumption that humans have various levels of decision making. In the conventional "static" approach, each agent makes assumptions about his or her opponents and chooses his or her actions accordingly. On the other hand, in the dynamic level-k reasoning, agents can update their beliefs about their opponents and revise their level-k rule. In this study, Neural Fitted Q Iteration, which is an approximate reinforcement learning method, is used to model time-extended decisions of pilots with 3D maneuvers. An analysis of UAS integration is conducted using an example 3D scenario in the presence of manned aircraft and fully autonomous UAS equipped with sense and avoid algorithms.

연구 동기 및 목표

• UAS 공중역할체통합 시뮬레이션에서 조종사가 결정론적으로 행동한다고 가정하는 현실성 없는 모델링의 부족을 해결하기 위해.
• 기존 2D 모델과 정적 정책 가정의 제한을 극복하기 위해.
• 다양한 인지 수준을 가진 조종사의 시간 연장형 적응형 의사결정을 포괄하는 3D 시뮬레이션 환경을 개발하기 위해.
• UAS-NAS 통합에서 충돌 해소 책임 할당 방식(인간 조종기 vs. UAS)이 안전성 및 성능 지표에 미치는 영향을 평가하기 위해.
• 행동 인식 기반 시뮬레이션 프레임워크를 활용해 UAS 센스앤어웨이 알고리즘, 간격 기준 및 시스템 파라미터의 정량적 평가를 가능하게 하기 위해.

제안 방법

• 다양한 조종사 인지 수준(레벨-0에서 레벨-2까지)을 모델링하기 위해 동적 레벨-k 추론을 활용하여 반복 상호작용 중에 믿음과 전략을 업데이트할 수 있도록 한다.
• 3D 체공 환경에서 시간 연장형 순차적 의사결정을 모델링하기 위해 신경 적합 Q-학습(NFQ)을 통합하며, 정적 Q-테이블 대신 심층 함수 근사 기법을 사용한다.
• 인간 조종기(동적 레벨-k 정책 사용)와 완전 자율 UAS(센스앤어웨이 알고리즘 SAA1 및 SAA2 탑재)를 포함한 하이브리드 체공 환경 시나리오를 시뮬레이션한다.
• 충돌 해소 책임을 설정 가능한 파라미터로 모델링하며, 인간 조종기 전용, UAS 전용, 또는 공동 책임으로 설정하고 각각의 조건에 맞는 조종 규칙을 따르도록 한다.
• 실제 운동학적 특성과 최소 간격 표준 기반 충돌 탐지 기능을 갖춘 3D 체공 모델을 사용한다.
• 안전성 지표(간격 위반 수)와 성능 지표(항로 이탈 및 비행 시간)를 활용해 시스템 성과를 평가한다.

실험 결과

연구 질문

• RQ1 정적 또는 결정론적 모델 대비 동적 레벨-k 추론이 UAS-NAS 통합 시뮬레이션에서 조종사 행동 모델링의 현실성과 예측 능력을 얼마나 향상시키는가?
• RQ2 다른 플랫폼(인간 조종기, UAS, 또는 둘 다)에 충돌 해소 책임을 할당할 경우 3D 단일 충돌 상황에서 안전성 및 성능에 어떤 영향을 미치는가?
• RQ3 다양한 책임 할당 방식과 조종사 인지 수준 분포에서 SAA1 및 SAA2 알고리즘이 각각 어떻게 성능을 발휘하는가?
• RQ4 신경 적합 Q-학습의 사용이 대규모 Q-테이블에 의존하지 않고도 3D 체공 환경에서 확장 가능한 적응형 시간 연장형 의사결정을 어떻게 가능하게 하는가?
• RQ5 다양한 조종사 인지 수준(레벨-0: 10%, 레벨-1: 60%, 레벨-2: 30%)이 공동 충돌 해소 상황에서 전체 시스템의 안전성 및 성능에 어떤 영향을 미치는가?

주요 결과

• 공동 충돌 해소 책임 상황에서 SAA1 및 SAA2 알고리즘 모두에서 간격 위반 수가 가장 적었으며, 이는 안전 위험을 최소화함을 의미한다.
• 인간 조종기 전용 책임일 경우, 공동 책임 상황 대비 평균 항로 이탈이 더 커져 부담 증가 및 충돌 해소 효율성 저하가 나타났다.
• UAS 전용 책임일 경우, 공동 책임 대비 평균 항로 이탈이 더 커져 책임 전가 상황에서의 비효율성 또는 최적화되지 않은 조종 운동이 나타났다.
• 충돌 해소 책임이 인간 조종기 전용일 경우 UAS의 비행 시간이 가장 짧았으며, 이는 UAS가 이동을 위해 조종할 필요가 없을 때 최적 경로를 유지할 수 있음을 시사한다.
• 동적 레벨-k 추론 모델은 조정 가능한 조종사 행동을 성공적으로 포착하였으며, 레벨-1 및 레벨-2 조종사는 반복 상호작용 중 믿음을 업데이트하고 전략을 조정하였다.
• 신경 적합 Q-학습의 통합은 대규모 Q-테이블 저장 없이도 기능 기반 정책 학습을 가능하게 하여, 복잡한 3D 시간 연장형 의사결정 시 послед을 모델링할 수 있도록 하였다.