[논문 리뷰] Neural Networks for Safety-Critical Applications - Challenges, Experiments and Perspectives

Chih‐Hong Cheng, Frederik Diehl외 6명|arXiv (Cornell University)|2017. 09. 04.

Adversarial Robustness in Machine Learning참고 문헌 3인용 수 7

한 줄 요약

이 논문은 신경망의 안전성 검증을 위해 전통적인 안전 기준을 확장하여 뉘런-특징 추적 가능성, 형식적 검증, 데이터 검증을 도입한 인증 방법론을 제안한다. 고속도로 주행 예측기에서 적용한 결과, 횡방향 속도가 안전 기준을 초과하지 않음을 성공적으로 검증했지만, 더 깊은 네트워크에서는 확장성 문제가 남아 있다.

ABSTRACT

We propose a methodology for designing dependable Artificial Neural Networks (ANN) by extending the concepts of understandability, correctness, and validity that are crucial ingredients in existing certification standards. We apply the concept in a concrete case study in designing a high-way ANN-based motion predictor to guarantee safety properties such as impossibility for the ego vehicle to suggest moving to the right lane if there exists another vehicle on its right.

연구 동기 및 목표

• 자율주행과 같은 안전 핵심 응용 분야에서 신경망에 대한 공식적 인증 방법의 부족을 해결하기 위해.
• 기존의 안전 인증 기준—이해 가능성, 정확성, 타당성—을 신경망 전용 과제에 맞게 확장하기 위해.
• 자율주행 차량의 신경망 기반 주행 예측기 모델이 안전 규칙(예: 위험한 차선 변경 방지)을 준수하도록 보장하기 위해.
• 실세계 신경망 모델이 교통 시스템에서 실현 가능한지와 제약 조건을 조사하기 위해.

제안 방법

• 기존 인증 방식에 뉘런-특징 추적 가능성(이해 가능성 확보), 형식적 분석(예: 혼합정수선형계획법)을 통한 정확성 확보, 새로운 사양 유형으로서의 데이터 검증을 추가하여 확장한다.
• 기호적 추론과 혼합정수선형계획법(MILP)을 사용하여 신경망의 구조를 인코딩하고, 안전성 성질에 대한 형식적 검증을 수행한다.
• 자기 차량 상태, 주변 차량, 도로 조건 등을 포함한 84개의 입력 특징을 가진 실세계 고속도로 추월 주행 예측기 모델에 이 방법론을 적용한다.
• 행동 확률을 가우시안 혼합 모델로 표현하고, 횡방향 속도 출력에 안전 제약 조건을 적용한다.
• 검증 이전에 위험한 시나리오(예: 왼쪽 차선에서의 왼쪽 차선 변경 중 왼쪽에 차량 존재)를 제외한 훈련 데이터를 검증한다.
• 특히 양자화된 네트워크에서의 확장성을 향상시키기 위해 비트벡터 인코딩을 통한 SMT 기반 검증을 사용한다.

실험 결과

연구 질문

• RQ1 기존의 인증 개념인 이해 가능성, 정확성, 타당성이 안전 핵심 시스템 내 신경망에 의미적으로 확장될 수 있는가?
• RQ2 뉘런 수준의 동작은 어떻게 고수준의 안전 성질(예: 차선 변경 회피)과 연결될 수 있는가?
• RQ3 실세계 신경망 아키텍처에서 자율주행 시스템에 적용할 때 형식적 검증의 실용적 제약 조건은 무엇인가?
• RQ4 데이터 검증과 형식적 방법이 결합하여 신경망 기반 주행 예측의 안전성을 얼마나 잘 보장할 수 있는가?
• RQ5 네트워크의 깊이와 아키텍처는 형식적 검증의 확장성과 실현 가능성에 어떤 영향을 미치는가?

주요 결과

• 메서드를 통해 차량이 왼쪽에 있을 경우 횡방향 속도 출력이 안전 기준을 초과하지 않음을 성공적으로 검증했으며, 이는 충돌 회피를 보장한다.
• 검증 시간은 크게 차이가 났다: 얕은 네트워크($I_{4\times10}$)의 경우 5.4초였지만, 더 깊은 네트워크($I_{4\times50}$)의 경우 3.5시간이 넘게 소요되어 확장성 문제를 드러냈다.
• 한 네트워크($I_{4\times60}$)는 시간 제한 내에 검증이 불가능하여 향후 검증 알고리즘 개선의 필요성을 시사한다.
• 동일한 훈련 데이터를 사용했음에도 불구하고, 다른 네트워크 가중치는 서로 다른 안전 보장을 보였으며, 이는 훈련만으로는 안전성이 보장되지 않음을 보여준다.
• MILP 인코딩을 통한 형식적 검증은 $I_{4\times60}$ 네트워크에서 검증 시간 초과에도 불구하고 횡방향 속도가 항상 3 m/s 이하임을 성공적으로 증명했다.
• 데이터 검증은 필수적이다: 위험한 훈련 예제를 제외하는 것이 안전 성질의 성공적인 형식적 검증을 위한 전제 조건이었다.