[논문 리뷰] Technologies for Trustworthy Machine Learning: A Survey in a Socio-Technical Context

Ehsan Toreini, Mhairi Aitken외 6명|arXiv (Cornell University)|2020. 07. 17.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 기계학습 시스템의 신뢰성 구축을 위한 사회기술적 프레임워크를 제안하며, 신뢰성의 네 가지 핵심 성질인 정의성, 설명 가능성, 감사 가능성, 안전성 및 보안성(Fairness, Explainability, Auditability, Safety & Security, 이하 FEAS)을 규명하고 기계학습 전체 라이프사이클에 걸친 기술을 조사한다. 데이터 수집에서 모델 추론에 이르기까지 이러한 성질을 통합적으로 적용할 것을 강조하며, 기술적 시스템이 인공지능 정책 목표와 일치하도록 하기 위해 다학제적 연구와 도구 개발을 주장한다.

ABSTRACT

Concerns about the societal impact of AI-based services and systems has encouraged governments and other organisations around the world to propose AI policy frameworks to address fairness, accountability, transparency and related topics. To achieve the objectives of these frameworks, the data and software engineers who build machine-learning systems require knowledge about a variety of relevant supporting tools and techniques. In this paper we provide an overview of technologies that support building trustworthy machine learning systems, i.e., systems whose properties justify that people place trust in them. We argue that four categories of system properties are instrumental in achieving the policy objectives, namely fairness, explainability, auditability and safety & security (FEAS). We discuss how these properties need to be considered across all stages of the machine learning life cycle, from data collection through run-time model inference. As a consequence, we survey in this paper the main technologies with respect to all four of the FEAS properties, for data-centric as well as model-centric stages of the machine learning system life cycle. We conclude with an identification of open research problems, with a particular focus on the connection between trustworthy machine learning technologies and their implications for individuals and society.

연구 동기 및 목표

• 기계학습의 정의성, 책임성, 투명성에 대한 사회적 우려가 증가하는 데 대응하여 기술적 시스템을 신규 인공지능 정책 프레임워크와 일치시킨다.
• 기계학습의 신뢰성 기반이 되는 네 가지 핵심 시스템 성질인 정의성, 설명 가능성, 감사 가능성, 안전성 및 보안성(Fairness, Explainability, Auditability, Safety & Security, 이하 FEAS)을 식별하고 체계화한다.
• 기계학습 라이프사이클 전 단계에 적용 가능한 기술을 조사함으로써 추상적인 정책 목표와 구체적인 기술적 구현 간 격차를 메운다.
• 실무자 이해와 윤리적 시스템 설계 간 격차를 해소하기 위해 통합된 도구 개발과 교육의 필요성을 강조한다.
• 사회과학 이론과 공학적 방법을 융합한 사회기술 통합 연구를 진전시켜, 사회적 품질 목표를 충족하는 신뢰성 있는 인공지능 시스템을 확보한다.

제안 방법

• 기계학습의 신뢰성 기술을 두 가지 주요 유형으로 분류한다: 데이터 중심의 신뢰성(데이터 수집, 전처리, 특징 공학)과 모델 중심의 신뢰성(모델 훈련, 테스트, 추론).
• 신뢰성 체인 모델을 활용해 시스템 개발 단계 간 의존성을 맵핑함으로써, 입력 데이터에서 런타임 출력에 이르기까지 신뢰성이 유지됨을 보장한다.
• FEAS 성질 각각에 적용 가능한 기존 도구와 기법을 조사하며, 실제 기계학습 파이프라인에서의 실용적 적용 가능성을 중점으로 한다.
• 안전성 및 보안성 범주 내에서 개인정보 보호를 강조하면서도, 신뢰성과 강건성은 보조적 고려사항으로 간주한다.
• EU AI Act, OECD AI 원칙 등 정책 프레임워크의 통찰을 기술적 능력과 융합하여 시스템 공학 결정을 안내한다.
• 다학제적 통합, 데이터 처리의 상충 관계 형식화, 실무자 교육에 초점을 맞춘 향후 연구 방향을 제안한다.

실험 결과

연구 질문

• RQ1 정의성, 설명 가능성, 감사 가능성, 안전성 및 보안성(Fairness, Explainability, Auditability, Safety & Security, 이하 FEAS)이라는 네 가지 신뢰성 성질이 기계학습 전체 라이프사이클 전반에 걸쳐 어떻게 체계적으로 구현될 수 있는가?
• RQ2 특히 데이터 공학 및 모델 배포 단계에서 기계학습 시스템을 사회적 목표 및 정책 목표에 맞추기 위한 주요 기술적 격차는 무엇인가?
• RQ3 신뢰에 관한 사회과학 이론은 기계학습 시스템 설계의 기술적 요구사항과 어떻게 의미 있게 연결될 수 있는가?
• RQ4 교육과 도구 개발은 기계학습 실무자 및 소프트웨어 엔지니어가 윤리적 인공지능 정책과 실제 구현 간 격차를 메우는 데 어떤 역할을 하는가?
• RQ5 정확도, 효율성, FEAS 성질 간의 상충 관계를 기계학습 파이프라인에서 어떻게 형식적으로 모델링하고 관리할 수 있는가?

주요 결과

• 정의성, 설명 가능성, 감사 가능성, 안전성 및 보안성(Fairness, Explainability, Auditability, Safety & Security, 이하 FEAS)으로 구성된 FEAS 프레임워크는 신뢰성 있는 기계학습 시스템을 구축하기 위한 종합적이고 실천 가능한 기반을 제공한다.
• 기계학습 파이프라인 전반에서 FEAS 성질을 유지하거나 향상시키기 위해 데이터셋을 변환하는 데 있어 확립된 데이터 및 소프트웨어 공학 관행의 격차가 심각하게 존재한다.
• 현재 FEAS를 위한 도구와 기법은 주로 단계나 성질별로 분리되어 있으며, 데이터 중심 및 모델 중심 개발 단계 간 통합이 부족한 편이다.
• Avizienis 등(2004)이 제안한 신뢰성 있는 시스템 설계의 체계적 접근 방식은 인공지능 기반 시스템이 직면하는 고유한 과제를 다루기 위해 확장되어야 한다.
• 교육과 실무자 훈련은 매우 중요하며, 설문 조사 결과 실무자들이 정의성과 책임성에 대한 이해와 가용한 기술적 솔루션 사이에 격차가 있음을 확인했다.
• 향후 연구는 다학제적 협업, 데이터 처리 체인의 형식화, 정책 기반의 신뢰성 구현을 위한 통합 공학 도구 개발을 우선순위로 삼아야 한다.