[논문 리뷰] How to Assess Trustworthy AI in Practice

Roberto V. Zicari, Julia Amann외 18명|arXiv (Cornell University)|2022. 06. 20.

Artificial Intelligence in Healthcare and Education인용 수 10

한 줄 요약

이 논문은 유럽연합 고위 전문가 그룹의 지침에 기반하여 AI 수명주기 全주기 동안 신뢰할 수 있는 AI를 평가하기 위한 실용적이고 통합적인 방법론인 Z-Inspection™을 제시한다. 사회기술적 시나리오 분 析를 적용하여 윤리적 리스크와 갈등을 식별하고, 실제 의료 AI 평가 사례를 통해 그 적용을 입증하며, 전문가 및 연구자들에게 실천 가능한 권고안을 제시한다.

ABSTRACT

This report is a methodological reflection on Z-Inspection$^{\small{\circledR}}$. Z-Inspection$^{\small{\circledR}}$ is a holistic process used to evaluate the trustworthiness of AI-based technologies at different stages of the AI lifecycle. It focuses, in particular, on the identification and discussion of ethical issues and tensions through the elaboration of socio-technical scenarios. It uses the general European Union's High-Level Expert Group's (EU HLEG) guidelines for trustworthy AI. This report illustrates for both AI researchers and AI practitioners how the EU HLEG guidelines for trustworthy AI can be applied in practice. We share the lessons learned from conducting a series of independent assessments to evaluate the trustworthiness of AI systems in healthcare. We also share key recommendations and practical suggestions on how to ensure a rigorous trustworthy AI assessment throughout the life-cycle of an AI system.

연구 동기 및 목표

• AI 시스템의 수명주기 단계 전반에서 신뢰할 수 있는 AI의 평가를 위한 실용적이고 실행 가능한 방법론을 개발하는 것.
• 신뢰할 수 있는 AI를 위한 유럽연합 고위 전문가 그룹의 지침을 체계적인 평가 과정으로 구현하는 것.
• 시나리오 기반 분 析를 통해 AI 시스템 내 윤리적 문제와 갈등을 식별하고 해결하는 것.
• 전문가 및 연구자들이 철저한 AI 신뢰성 평가를 위해 실질적인 도구와 권고안을 확보할 수 있도록 하는 것.
• 의료 분야의 AI 평가 사례에서 얻은 교훈을 바탕으로 보다 광범위한 적용을 위한 기초를 마련하는 것.

제안 방법

• Z-Inspection™은 AI 수명주기 全주기 동안의 신뢰성 평가를 위한 통합적이고 반복적인 과정을 활용한다.
• 신뢰할 수 있는 AI의 핵심 요건인 인간의 통제, 내구성, 공정성 등의 유럽연합 HLEG 기준을 체계적인 평가 프레임워크에 통합한다.
• 사회기술적 시나리오의 제작과 분석을 중심으로 하여 맥락 속에서 윤리적 갈등과 리스크를 탐색한다.
• 윤리적 및 기술적 차원에 대한 다양한 시각을 확보하기 위해 다학제적 팀을 통한 평가를 수행한다.
• 발견 사항 기록, 이해관계자 피드백, 완화 및 개선 대책 권고를 포함한 과정을 수반한다.
• 다양한 분야에 적용 가능하도록 설계되었으며, 의료 AI 시스템에 대한 적용 사례가 입증되어 있다.

실험 결과

연구 질문

• RQ1 유럽연합 HLEG의 신뢰할 수 있는 AI 지침은 실제 AI 개발 및 구현 현장에서 어떻게 실천될 수 있는가?
• RQ2 AI 시스템 내 윤리적 리스크와 갈등을 체계적으로 식별할 수 있는 방법론적 접근은 무엇인가?
• RQ3 사회기술적 시나리오는 개발 단계에서 숨겨진 윤리적 문제를 효과적으로 드러내는 데 어떻게 기여하는가?
• RQ4 이 프레임워크를 활용한 독립적 의료 AI 평가에서 도출된 교훈은 무엇인가?
• RQ5 AI 개발 수명주기 전반에 걸쳐 확장 가능하고 철저한 평가 과정을 어떻게 정착시킬 수 있는가?

주요 결과

• Z-Inspection™은 유럽연합 HLEG의 신뢰할 수 있는 AI 기준을 반복 가능하고 실용적인 평가 과정으로 성공적으로 구현하였다.
• 사회기술적 시나리오의 활용은 기술적 감사만으로는 포착되지 않는 윤리적 갈등과 맥락적 리스크를 효과적으로 드러내는 데 기여하였다.
• 의료 AI 평가 과정에서 데이터 편향, 투명성, 인간-AI 협업과 관련된 반복적인 과제가 드러났다.
• 다학제적 협업은 윤리적 리스크 식별의 깊이와 관련성에 상당한 기여를 하였다.
• 이 프레임워크는 다양한 AI 시스템과 개발 단계에 적용 가능하여 초기 설계 단계부터 후속 배포 평가까지 지원할 수 있었다.
• 실천 가능한 권고안이 도출되었으며, 예를 들어 개발 초기 단계에서 윤리 검토를 통합하고, 전 과정에 걸쳐 이해관계자 참여를 보장하는 것이 포함되었다.