[논문 리뷰] Framework for Certification of AI-Based Systems

Maxime Gariel, Brian Shimanuki외 2명|arXiv (Cornell University)|2023. 02. 21.

Risk and Safety Analysis인용 수 7

한 줄 요약

이 논문은 항공우주 분야의 안전 핵심 응용 분야에서 AI 기반 시스템을 인증하기 위한 데이터 중심 프레임워크를 제안한다. 요구사항, 학습 데이터, 모델, 테스트 결과의 추적 가능성을 강조한다. 79%의 평균 정밀도를 기록한 DNN을 활용해 천공 기반의 항공기 침입자 탐지 모델을 학습시켜, 범위와 같은 입력 변화에 대한 민감도를 체계적으로 분석함으로써 인증 준비 상태를 입증한다.

ABSTRACT

The current certification process for aerospace software is not adapted to "AI-based" algorithms such as deep neural networks. Unlike traditional aerospace software, the precise parameters optimized during neural network training are as important as (or more than) the code processing the network and they are not directly mathematically understandable. Despite their lack of explainability such algorithms are appealing because for some applications they can exhibit high performance unattainable with any traditional explicit line-by-line software methods. This paper proposes a framework and principles that could be used to establish certification methods for neural network models for which the current certification processes such as DO-178 cannot be applied. While it is not a magic recipe, it is a set of common sense steps that will allow the applicant and the regulator increase their confidence in the developed software, by demonstrating the capabilities to bring together, trace, and track the requirements, data, software, training process, and test results.

연구 동기 및 목표

• 기본적인 인증 기준(예: DO-178)이 딥 뉴럴 네트워크(DNN)와 같은 AI 기반 시스템에 대해 수학적 추적 가능성이 부족한 점을 해결하기 위해, 매개변수화되고 비결정적인 행동을 보이는 DNN의 특성으로 인해 기존의 코드 기반 검증 방식으로는 부족한 점을 보완한다.
• 요구사항, 학습 데이터, 모델 가중치, 학습 과정, 테스트 결과를 체계적으로 추적하고 추적 가능성을 확보함으로써 규제 기관의 신뢰를 확보할 수 있는 프레임워크를 개발한다.
• 실제 응용 사례를 통해 프레임워크의 실현 가능성을 입증한다: 항공기의 시각 기반 감지 및 회피를 위한 DNN 학습.
• 모델의 일반화 능력과 입력 변화(예: 거리, 조도, 기상 조건)에 대한 민감도를 평가함으로써 안전 인증에 필수적인 요소를 분석한다.
• 향후 공식 증명, 적대적 강건성 테스트, 자동화된 데이터 생성 기능을 포함하는 인증된 머신러닝 파이프라인 내에서의 통합을 위한 기반을 마련한다.

제안 방법

• 메타데이터가 풍부한 데이터 관리 방식을 활용해, 시스템 수준의 요구사항에서부터 학습 데이터, 모델 가중치, 테스트 결과에 이르기까지 종단 간 추적 가능성을 확립한다.
• 각 이미지에 거리, 조도, 기상 조건, 배경 유형, 시퀀스 정보 등의 속성을 주석 처리함으로써 통계 분석을 지원하는 데이터 중심 접근 방식을 적용한다.
• COCO에서의 사전 학습을 거친 후, 724장의 학습 이미지와 379장의 테스트 이미지로 나누어진 정제된 데이터셋을 사용하여 표준 DNN 아키텍처(ResNet-50 기반 SSD FPN)를 학습시킨다.
• 성능 변동을 평가하기 위해 테스트 데이터를 거리 범위에 따라 분할(0–375m, 375–750m 등)하여 민감도 분석을 수행한다.
• 다양한 입력 시나리오에서의 모델 성능 및 일반화 능력을 통계적으로 평가할 수 있도록 하여, 규제 기관이 강건성을 평가할 수 있도록 지원한다.
• 왜곡된 입력을 함께 저장하고 추적함으로써 적대적 예제 테스트 통합이 가능하며, 안정성 분석을 위한 기반을 마련한다.

Figure 1: Process for tracking an object using a radar.

실험 결과

연구 질문

• RQ1 기존의 코드 기반 검증 방식으로는 부족한 상황에서, AI 기반 시스템의 추적 가능성을 향상시켜 인증 기준을 충족시키기 위해 어떤 방법이 필요한가?
• RQ2 조도, 기상 조건, 거리와 같은 다양한 운영 조건에서 모델의 일반화 능력을 확보하기 위해 필요한 메타데이터 및 데이터 관리 관행은 무엇인가?
• RQ3 목표까지의 거리와 같은 입력 변화에 대한 민감도를 정량적으로 평가하고 문서화하는 방법은 무엇인가?
• RQ4 모델 가중치의 수학적 해석이 불가능한 상황에서도, 데이터 중심 프레임워크가 모델 성능에 대한 통계적 신뢰를 제공할 수 있는가?
• RQ5 체계적인 데이터 기원 및 메타데이터가 안전 핵심 시스템에서 AI 모델의 규제 심사 및 감사 가능성을 높이는 데 어떤 역할을 하는가?

주요 결과

• DNN는 테스트 세트에서 항공기 침입자를 탐지하는 데 평균 정밀도 79%를 기록하여, 이 응용 분야의 기준 성능을 확보했다.
• 모델 성능은 거리 증가에 따라 감소하며, 0–375m 범위에서 가장 높은 평균 정밀도를 기록하고 1115–1500m 범위에서 가장 낮은 성능를 보여, 거리에 대한 민감도를 확인했다.
• 프레임워크는 거리와 같은 입력 속성에 따라 테스트 데이터를 체계적으로 분할함으로써, 타겟된 성능 분석을 가능하게 했다.
• 조도, 기상 조건, 배경 등의 메타데이터 사용은 데이터셋의 다양성과 모델의 강건성에 대한 정성적·정량적 평가를 가능하게 했다.
• 왜곡된 입력을 추적할 수 있도록 하여, 적대적 예제 테스트의 통합이 가능하고, 인증 과정에서의 안정성 분석이 가능하도록 지원했다.
• 모델 가중치가 수학적으로 해석되지 않더라도, 운영 영역 전반에서 모델 행동에 대한 통계적 신뢰를 확보할 수 있는 기반을 제공한다.

Figure 2: Example of a DNN.