[논문 리뷰] Verifying Aircraft Collision Avoidance Neural Networks Through Linear Approximations of Safe Regions

Kyle D. Julian, Shivam Sharma외 2명|arXiv (Cornell University)|2019. 03. 02.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 14

한 줄 요약

이 논문은 신경망 기반 항공기 충돌 방지 시스템의 안전성을 검증하기 위해 '안전하게 발급 가능한' 영역—각 지침이 안전하게 발급될 수 있는 영역—의 선형 근사를 정의하는 방법을 제안한다. Reluplex를 사용하여 비안전 지침이 언제나 생성되지 않는지 검증함으로써, 특히 지침 전환 영역 근처에서 네트워크의 결정 경계에 심각한 결함을 드러내는 수천 개의 반례를 발견하였다.

ABSTRACT

The next generation of aircraft collision avoidance systems frame the problem as a Markov decision process and use dynamic programming to optimize the alerting logic. The resulting system uses a large lookup table to determine advisories given to pilots, but these tables can grow very large. To enable the system to operate on limited hardware, prior work investigated compressing the table using a deep neural network. However, ensuring that the neural network reliably issues safe advisories is important for certification. This work defines linearized regions where each advisory can be safely provided, allowing Reluplex, a neural network verification tool, to check if unsafe advisories are ever issued. A notional collision avoidance policy is generated and used to train a neural network representation. The neural networks are checked for unsafe advisories, resulting in the discovery of thousands of unsafe counterexamples.

연구 동기 및 목표

• 오류가 발생할 경우 참으로 치명적인 결과를 초래할 수 있는 신경망 기반 항공기 충돌 방지 시스템의 안전 확보를 위해.
• 안전 기준이 엄격한 항공 교통 상황에서 신경망이 비안전 지침을 발급하지 않는지 검증하는 과제를 해결하기 위해.
• 선형 근사를 사용하여 안전 영역을 근사함으로써 신경망 정책의 공식적 검증을 가능하게 하는 확장 가능한 검증 방법을 개발하기 위해.
• 훈련된 검증 정책 기반으로도 비안전 지침을 발급하는 경우를 분석하고 반례를 식별하기 위해.
• 엄격한 경계 요구 조건을 완화하고 실용적인 안전 검증을 향상시키기 위한 'safeable2'와 같은 확장 기능을 탐색하기 위해.

제안 방법

• 각 지침에 대해 '안전하게 발급 가능한' 영역을 정의—해당 영역에서 지침을 발급하면 정책 하에 향후 안전이 보장된다.
• Reluplex에서 선형 프로그래밍 솔버를 사용할 수 있도록, 비선형 경계를 조각별 선형 근사를 통해 선형화.
• 안전 영역 정의의 정밀도를 향상시키기 위해 새로운 상태 변수 τ(수평 간격 상실까지의 시간)를 도입.
• Reluplex 도구를 사용하여 안전 가능 영역 내 입력이 비안전 지침을 유도하는지 여부를 검증—검증을 만족 가능성 문제로 간주.
• 모든 9개의 지침과 모든 가능한 이전 지침 상태에 대해 검증 과정을 적용하여 총 143,048개의 쿼리를 생성.
• 반례를 분석하여 특히 지침 전환 지점 근처에서 네트워크의 결정 경계에 구조적 결함이 있음을 규명.

실험 결과

연구 질문

• RQ1 안전 가능 영역의 선형 근사는 신경망 기반 항공기 충돌 방지 시스템의 공식적 검증을 가능하게 하는가?
• RQ2 검증된 정책 기반으로 훈련된 신경망이 실제로 얼마나 많은 비안전 지침을 발급하며, 상태 공간의 어디에 위치하는가?
• RQ3 이산화 수준이나 근사 방법(과소 또는 과대 근사)의 수준이 발견된 반례 수에 영향을 미치는가?
• RQ4 왜 많은 반례들이 지침 영역 간 경계 근처에 집중되어 있으며, 이를 완화할 수 있는가?
• RQ5 'safeable2'와 같은 완화된 안전 성질—적어도 두 개의 지침이 영역을 안전하게 커버할 수 있는 경우—는 임의의 반례를 줄이면서도 안전 보장을 유지할 수 있는가?

주요 결과

• 검증 과정에서 25개의 입력 구성에서 총 143,048개의 반례를 발견하여 널리 퍼진 비안전 지침 발급 문제를 드러냈다.
• 수천 개의 반례가 지침 전환 경계 근처, 특히 DES1500과 CL1500 사이에서 발견되어 표준 신경망으로는 정확한 경계 일치가 불가능함을 시사했다.
• 선형화 수준(τ = 0.125에서 2.0초)이 달라도 반례 수가 일정하게 유지됨(각 이산화 수준당 1,476개)—더 정밀한 선형화로도 반례 수가 감소하지 않음.
• 반례가 가장 많이 발생한 영역은 낮은 τ 및 낮은 h 영역이었으며, 이는 곧 충돌이 곧 발생할 가능성이 있는 상황에서 COC 지침이 비안전함을 의미하여 네트워크 행동에 심각한 결함이 있음을 드러냈다.
• 비안전 가능 영역의 시각화 결과, 네트워크가 고위험, 저간격 상황에서 잘못된 COC 지침을 발급하고 있음을 확인하여 정책 개선의 필요성을 시사했다.
• 이 연구는 신경망에 대해 정확한 지침 경계 전환을 강제하는 것이 너무 엄격하다는 점을 입증하며, 'safeable2'와 같은 완화된 안전 성질의 개발을 촉진한다.