[논문 리뷰] Trusted Artificial Intelligence: Towards Certification of Machine Learning Applications

Philip Matthias Winter, Sebastian K. Eder외 6명|arXiv (Cornell University)|2021. 03. 31.

Adversarial Robustness in Machine Learning인용 수 24

한 줄 요약

이 논문은 기계학습 응용 프로그램을 위한 인증 프레임워크와 감사 카탈로그를 제안하며, 저위험도의 지도 학습 시스템에 초점을 맞춘다. 결정의 영향을 평가하기 위해 네 가지 임계 수준을 도입하고, 보안, 데이터 품질, 윤리, 준법성을 통합하여 통합 평가 과정을 구현함으로써 공식 인증 기준을 통해 신뢰할 수 있는 AI를 실현하고자 한다.

ABSTRACT

Artificial Intelligence is one of the fastest growing technologies of the 21st century and accompanies us in our daily lives when interacting with technical applications. However, reliance on such technical systems is crucial for their widespread applicability and acceptance. The societal tools to express reliance are usually formalized by lawful regulations, i.e., standards, norms, accreditations, and certificates. Therefore, the T\\"UV AUSTRIA Group in cooperation with the Institute for Machine Learning at the Johannes Kepler University Linz, proposes a certification process and an audit catalog for Machine Learning applications. We are convinced that our approach can serve as the foundation for the certification of applications that use Machine Learning and Deep Learning, the techniques that drive the current revolution in Artificial Intelligence. While certain high-risk areas, such as fully autonomous robots in workspaces shared with humans, are still some time away from certification, we aim to cover low-risk applications with our certification procedure. Our holistic approach attempts to analyze Machine Learning applications from multiple perspectives to evaluate and verify the aspects of secure software development, functional requirements, data quality, data protection, and ethics. Inspired by existing work, we introduce four criticality levels to map the criticality of a Machine Learning application regarding the impact of its decisions on people, environment, and organizations. Currently, the audit catalog can be applied to low-risk applications within the scope of supervised learning as commonly encountered in industry. Guided by field experience, scientific developments, and market demands, the audit catalog will be extended and modified accordingly.

연구 동기 및 목표

• 기계학습 응용 프로그램을 위한 공식 인증 절차를 개발하여 신뢰성과 사회적 수용성을 향상시키기.
• 실제 산업 응용 분야에서 기계학습 시스템에 대한 표준화된 평가 기준의 부재를 해결하기.
• 소프트웨어 보안, 데이터 품질, 개인정보 보호, 윤리적 고려사항을 포함한 다차원 감사 카탈로그를 구축하기.
• 기계학습 결정이 사람, 환경, 조직에 미치는 잠재적 영향을 바탕으로 임계 수준을 정의하기.
• 현장 경험과 시장 수요를 반영한 반복적 개선을 통해 향후 고위험 AI 시스템의 인증 기반을 마련하기.

제안 방법

• 결정 영향의 심각도에 따라 기계학습 응용 프로그램을 분류하기 위한 네 단계의 임계 수준 체계를 제안한다.
• 보안 소프트웨어 개발, 기능 정확성, 데이터 품질, 데이터 보호, 윤리적 준법성 등을 포함한 종합적인 감사 카탈로그를 개발한다.
• 산업에서 흔히 볼 수 있는 저위험도 지도 학습 응용 프로그램에 이 프레임워크를 적용한다.
• 현장 경험, 과학적 통찰, 시장 수요를 바탕으로 감사 카탈로그의 반복적 진화를 이끈다.
• 기존 표준 및 규정의 원칙을 통합하여 법적 및 사회적 신뢰 메커니즘과 일치시킨다.
• 기계학습 시스템의 특성을 종합적으로 다각도 평가하는 방식으로 인증 절차를 구조화한다.

실험 결과

연구 질문

• RQ1 기계학습 응용 프로그램이 다차원적 관점에서 어떻게 체계적으로 신뢰성 여부를 평가할 수 있는가?
• RQ2 기계학습 결정의 사회적 및 운영적 영향을 바탕으로 임계 수준을 정의하고 분류하기 위해 필요한 기준은 무엇인가?
• RQ3 저위험 산업 응용 분야의 기계학습 시스템에 대해 어떻게 공식 인증 절차를 수립할 수 있는가?
• RQ4 보안, 데이터 품질, 개인정보 보호, 윤리 기준 준수를 확보하기 위해 감사 카탈로그에 포함되어야 할 핵심 구성 요소는 무엇인가?
• RQ5 기계학습 응용 프로그램의 진화와 고위험 영역 진입에 따라 인증 프레임워크는 어떻게 확장 및 적응시킬 수 있는가?

주요 결과

• 제안된 감사 카탈로그는 산업 현장에서 저위험도 지도 학습 응용 프로그램에 적용 가능하다.
• 네 가지 임계 수준은 기계학습 결정이 사람, 환경, 조직에 미치는 잠재적 영향을 구조적으로 평가할 수 있는 방법을 제공한다.
• 이 프레임워크는 보안, 데이터 품질, 개인정보 보호, 윤리적 측면에서 기계학습 시스템을 종합적으로 평가할 수 있도록 한다.
• 인증 절차는 현장 경험, 과학적 발전, 시장 피드백를 통해 반복적으로 진화하도록 설계되어 있다.
• 자율 로봇이 공동 작업 환경에서 운영되는 고위험 AI 시스템의 향후 공식 인증 기반을 마련한다.
• 현재 감사 카탈로그는 소프트 리뷰 형식으로 적용되며, 반복적 개선을 목적으로 한다.