[논문 리뷰] Certification of embedded systems based on Machine Learning: A survey

Guillaume Vidot, Christophe Gabreau외 2명|arXiv (Cornell University)|2021. 06. 14.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 10

한 줄 요약

이 종합 검토는 민간 항공기에서 기계학습(ML)-기반 임베디드 시스템을 인증하는 데 직면한 과제를 조사하며, 규제 준수를 위한 핵심 수단으로서 강건성과 설명 가능성의 중요성을 강조한다. 블랙박스 성격과 예측 불가능성으로 인해 발생하는 문제를 해결하기 위해 최신 기술—특히 적대적 강건성 및 SHAP, DeepLIFT와 같은 특성 중요도 방법—을 평가하며, 안전 중심 환경에서 검증 가능한 ML 시스템을 위한 공식적 검증과 설명 가능성의 길을 제안한다.

ABSTRACT

Advances in machine learning (ML) open the way to innovating functions in the avionic domain, such as navigation/surveillance assistance (e.g. vision-based navigation, obstacle sensing, virtual sensing), speechto-text applications, autonomous flight, predictive maintenance or cockpit assistance. Current certification standards and practices, which were defined and refined decades over decades with classical programming in mind, do not however support this new development paradigm. This article provides an overview of the main challenges raised by the use ML in the demonstration of compliance with regulation requirements, and a survey of literature relevant to these challenges, with particular focus on the issues of robustness and explainability of ML results.

연구 동기 및 목표

• 기존 요구사항 기반 및 모델 기반 설계 철학이 성공적으로 적용되지 않는 안전 중심 항공기 시스템에서 기계학습(ML)-기반 소프트웨어를 인증할 필요가 점점 커지는 데 대응한다.
• 데이터 기반 모델 행동으로 인해 발생하는 사양 불가능성, 추적 불가능성, 강건성 부족 등 ML로 인해 발생하는 주요 인증 과제를 규명한다.
• DO-178C과 같은 항공기 인증 기준 준수를 지원할 수 있는지 평가하기 위해 적대적 강건성 및 설명 가능성 연구를 검토한다.
• 실제 항공기 기능(예: 비전 기반 항법, 예측 정비 등)과 관련된 핵심 과제를 다루기 위해 범위를 제한하기 위해 오프라인 지도 학습에 집중한다.
• 현재 기법의 격차를 규명하고 공식적 검증 및 설명 가능한 AI를 검증 가능한 ML 시스템의 핵심 구성 요소로 주장함으로써 향후 연구의 기반을 마련한다.

제안 방법

• 항공기 표준(DO-178C, DO-254)과 규제 준수를 중심으로 안전 중심 시스템에서의 ML 인증 관련 문헌을 종합적으로 검토한다.
• 적대적 강건성 기법을 분류하고 분석하며, 적대적 훈련 및 수학적 증명을 통해 모델 행동이 변형에 대해 안정적인지 확인하는 공식적 검증 방법을 포함한다.
• 협동 게임 이론을 기반으로 한 SHAP(SHapley Additive exPlanations)와 같은 글로벌 설명 기법을 검토하여 모델 예측에 대한 특성 중요도를 할당한다.
• 딥 뉴럴 네트워크(DNN) 전용 기법인 DeepLIFT을 평가하며, 입력 활성도를 기준 기준값과 비교하여 역전파를 통해 특성 기여도를 계산한다.
• 인과 모델링 기법(예: npsem)과 부분 의존도 플롯을 탐색하여 입력 추세가 모델 출력에 미치는 영향을 시각화함으로써 모델 투명도를 향상시킨다.
• 신뢰성 및 감사 가능성을 인증 환경에서 지원하기 위해 모델 독립형 및 DNN 전용 설명 기법에 집중한다.

실험 결과

연구 질문

• RQ1 데이터 기반 행동과 추적 불가능성 등 기계학습의 내재적 특성은 항공기 분야의 전통적 인증 절차에 어떤 도전을 안긴다?
• RQ2 실제 비행 환경에서 흔히 발생하는 입력 변형 상황에서 적대적 강건성 기법이 ML 기반 시스템의 안전성과 신뢰성 확보에 어느 정도 기여할 수 있는가?
• RQ3 SHAP 및 DeepLIFT과 같은 설명 가능성 기법은 DO-178C의 검증 가능성 및 감사 가능성 요구사항을 충족하기 위해 충분한 투명성을 제공할 수 있는가?
• RQ4 공식적 검증은 안전 중심 시스템의 ML 컴ponent를 인증하기 위해 경험적 테스트를 대체하거나 보완하는 데 어떤 역할을 할 수 있는가?
• RQ5 현재의 설명 가능성 및 강건성 기법들은 민간 항공 분야의 임베디드 ML 시스템에 산업적 인증 워크플로우에 통합하기에 충분히 성숙했는가?

주요 결과

• 적대적 강건성 기법—적대적 훈련 및 공식적 검증 포함—은 입력 변형 상황에서 모델의 신뢰성을 확보할 잠재력이 높으며, 직접적으로 안전 중심 문제를 해결한다.
• SHAP 및 기타 모델 독립형 설명 기법은 셰플리 값 기반으로 공정하고 일관된 특성 중요도 점수를 제공하여 모델 결정 과정의 이해를 향상시킨다.
• DeepLIFT은 기준값에서의 활성도 차이를 측정함으로써 DNN 전용 특성 기여도 기법을 제공하여 예측에 대한 설명을 해석 가능하고 일관되게 만든다.
• npsem과 같은 인과 모델링 기법과 부분 의존도 플롯을 조합하면 입력-출력 추세를 시각화함으로써 단순한 특성 영향을 넘어서 모델 행동에 대한 깊이 있는 통찰을 제공한다.
• 공식적 검증 방법은 정확성에 대한 수학적 증명을 제공하므로 경험적 테스트에 의존도가 낮아지며, 특히 인증에 매우 유망한 기법이다.
• 진전이 있었음에도 불구하고, 특히 실시간 안전 중심 환경에서의 구현 상황에서 항공기에서 사용되는 산업 규모의 ML 모델에 설명 가능성 및 강건성 기법을 확장하는 데 도전 과제가 남아 있다.