[논문 리뷰] White Paper Machine Learning in Certified Systems

Hervé Delseny, Christophe Gabreau외 26명|arXiv (Cornell University)|2021. 03. 18.

Adversarial Robustness in Machine Learning참고 문헌 118인용 수 17

한 줄 요약

이 화이트페이퍼는 항공과 같은 안전이 핵심적인 분야에서 기계학습(ML)을 인증 시스템에 통합하는 데 있어 신뢰성, 검증 및 인증과 관련된 핵심 과제를 규명함으로써, 이러한 장벽을 극복하기 위한 맞춤형 ML 기법, 공학적 관행 및 인증 프레임워크를 제안한다. 이는 철저한 방법론과 도구 지원이 제공될 경우 ML이 안전하게 인증 시스템에 통합될 수 있음을 입증한다.

ABSTRACT

Machine Learning (ML) seems to be one of the most promising solution to automate partially or completely some of the complex tasks currently realized by humans, such as driving vehicles, recognizing voice, etc. It is also an opportunity to implement and embed new capabilities out of the reach of classical implementation techniques. However, ML techniques introduce new potential risks. Therefore, they have only been applied in systems where their benefits are considered worth the increase of risk. In practice, ML techniques raise multiple challenges that could prevent their use in systems submitted to certification constraints. But what are the actual challenges? Can they be overcome by selecting appropriate ML techniques, or by adopting new engineering or certification practices? These are some of the questions addressed by the ML Certification 3 Workgroup (WG) set-up by the Institut de Recherche Technologique Saint Exupéry de Toulouse (IRT), as part of the DEEL Project.

연구 동기 및 목표

• 기계학습이 인증 시스템에 도입되지 못하는 데 영향을 미치는 핵심 과제를 규명하는 것, 특히 항공과 같은 안전이 핵심적인 분야에서의 적용을 대상으로 한다.
• 적절한 ML 기법, 공학적 관행 또는 인증 절차의 선택을 통해 이러한 과제가 완화될 수 있는지 평가하는 것.
• 공식 인증 절차가 적용되는 시스템에 ML을 통합하기 위한 종합적인 프레임워크와 권고 사항을 제공하는 것.
• 구조적인 연구와 협업을 통해 DEEL 프로젝트의 목표인 규제 환경에서 신뢰할 수 있고 인증 가능한 AI를 실현하는 데 기여하는 것.

제안 방법

• 투명성, 검증 가능성 및 재현 가능성 기반으로 안전이 핵심적인 인증에 적합한지 평가하기 위해 기존 ML 기법에 대한 체계적 분석을 수행한다.
• 데이터 정제, 모델 검증 및 테스트 절차를 포함한, 인증 시스템에서의 ML 개발에 특화된 공학적 관행 세트를 정의한다.
• 항공 분야의 DO-178C와 같은 규제 기준과 일치하는 ML 라이프사이클 활동을 반영한 인증 경로를 제안한다.
• 내구성, 공정성 및 설명 가능성에 중점을 두어 ML 위험 및 완화 전략의 분류 체계를 도입한다.
• 산업 및 규제 기관 이해관계자들과 협력하여 기술적 권고 사항을 실제 인증 요구 사항과 일치시킨다.
• 사례 연구 및 전문가의 합의를 활용하여 다양한 응용 분야에서 제안된 프레임워크의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 안전이 핵심적인 환경에서 기계학습 시스템의 인증을 방해하는 주요 기술적 및 규제적 과제는 무엇인가?
• RQ2 해석 가능성, 결정성 및 검증 가능성 측면에서 인증에 가장 적합한 기계학습 기법은 무엇인가?
• RQ3 ML 구성 요소의 라이프사이클 전반에 걸쳐 신뢰성과 추적 가능성을 보장하기 위해 공학적 관행는 어떻게 개선되어야 하는가?
• RQ4 기계학습 기반 시스템을 수용하기 위해 기존 인증 기준에 어떤 수정이 필요한가?
• RQ5 안전성과 준수를 유지하면서 ML 구성 요소의 인증을 지원할 수 있는 체계적인 프레임워크를 수립할 수 있는가?

주요 결과

• 특히 딥 러닝과 같은 현재의 많은 ML 기법은 투명성과 결정성이 부족하여 인증에 상당한 과제를 야기한다.
• 의사결정 트리, 선형 모델 및 심볼릭 시스템과 같은 간단하고 해석 가능한 모델은 인증 요구 사항과 더 높은 호환성을 보인다.
• 엄격한 데이터 관리, 모델 검증 및 테스트 프로토콜이 지원될 경우, ML을 인증 시스템에 통합하는 것은 가능하다.
• 인증 당국은 DO-178C와 같은 기존 표준을 확장하여 ML 전용 개발 및 검증 활동을 포함함으로써 이를 적응시킬 수 있다.
• 재현성과 감사 가능성을 확보하기 위해 훈련, 검증 및 배포 단계 간 명확한 분리가 필수적이다.
• 산업, 규제 기관 및 연구자 간의 이해관계자 협력은 ML 구성 요소의 실현 가능한 인증 경로를 확립하는 데 핵심적이다.